Addon RexSearch (Fulltext-Search-Addon)

[Xong]

Die Käfersuche beginnt.

Ich habe so lange gebraucht, weil ich noch eine Klasse für die Extraktion von Texten aus einer PDF-Datei geschrieben habe.

Ich bin gespannt wie ein Flitzebogen, wie die neue Version ankommen wird.

[Xong]

So, eine vorläufige Version ist online: http://maumha.de/rex/xsearch.zip

Wichtig: Diese Version hat noch Fehler und muss getestet werden.

Wer Zeit und einen Testserver/eine Test-Redaxo-Installation hat, kann das neue XSearch ja mal testen.

Ich würde mich freuen, wenn ihr mir Bugs hier oder PN mitteilen könntet, damit das Addon endlich mal auf die Beine kommt und keine Kinderkrankheiten mehr hat.

Wichtigste Neuerungen (müssen alle noch getestet werden):

• abwärtskompatibel zu PHP 4 (kann das jemand bestätigen?)
• Dateisuche möglich
• Verbesserung der Konfiguration

ToDo:

• Dateisuchenkonfiguration macht die Konfigurationsseite des Addons langsam, weil Verzeichnisse rekursiv durchlaufen werden müssen -> ab- bzw. zuschaltbar machen
• Bugmeldungen/Anregungen aus dem Forum bearbeiten
• Doku erweitern (neue Beispiele, PHPDoc)
• Rechte für einzelne Bereiche des Addons

Weitere Vorschläge, die von allgemeinem Interesse sind, werden natürlich gern eingepflegt.

[stockamster]

Ich werde es auf unserem Testserver installieren.

Ich habe zwischenzeitlich einige kleine Anpassungen für uns gemacht, damit es unseren Bedürfnissen besser entgegenkommt. Besonders das füllen der Tabellen war für uns nicht optimal. Dadurch konnte ich es für uns schon scharf schalten.

Was mich noch interessieren würde? Wie werden die Suchindex up-to-date gehalten? Oder habe ich etwas verpasst. Könnte ja einen Cron Job einrichten.

Heinz
meinkino.ch

[Xong]

Ich habe zwischenzeitlich einige kleine Anpassungen für uns gemacht, damit es unseren Bedürfnissen besser entgegenkommt. Besonders das füllen der Tabellen war für uns nicht optimal. Dadurch konnte ich es für uns schon scharf schalten.

Was war/ist denn nicht optimal?
Ich habe versucht, darauf zu achten, dass erst alle Daten gesammelt und dann in einer Abfrage eingetragen werden.

Was mich noch interessieren würde? Wie werden die Suchindex up-to-date gehalten? Oder habe ich etwas verpasst. Könnte ja einen Cron Job einrichten.

Die Aktualisierung des Index´ geschieht im Moment nur bei "einfacher" Verwendung automatisch, also beim anlegen, löschen und editieren von Artikeln bzw. Kategorien.
Auch Dateien aus dem Medienpool können so automatisch (de-)indexiert werden.

Für die Verwendung des Addons mit spezifischen DB-Spalten oder Verzeichnissen müssen diese Aktualisierungen aber im betreffenden Modul, Template oder Addon aber vom Entwickler selbst vorgenommen werden, da nur er weiß, wann das nötig ist.

An die Extensionpoints muss ich aber noch mal ran und werde mal schauen, ob da noch etwas verbessert werden kann bzw. ob überhaupt alles funkioniert.

Übrigens, wenn man einen Artikel, eine Datenbankspalte oder eine Datei für den Index aktualisieren möchte, kann man den Methoden von XSearch (indexArticle, indexColumn und indexFile) aber auch entsprechende Werte für ID, Sprache, DB-Tabellenname und - spalte aber auch mitgeben. Dabei werden dann auch nur betroffene Abfragen aus dem Suchcache gelöscht und ausschließlich die damit identifizierten Inhalte neu indexiert.

Wie schon geschrieben muss vieles davon aber noch mit ein paar Tests bestätigt und eventuelle Bugs behoben werden.

[stockamster]

Wie ich ja geschrieben habe, kommt es UNSEREN Bedürfnissen nicht optimal entgeben. Für alle anderen ist's bestimmt optimal. Da wir ein besonderes Template verwenden, können wir einiges Einstellungen von Redaxo nicht 1=1 übernehmen.

Das mit dem Update, wenn mann einen Artikel hinzufügt, muss ich nochmals beobachten.

Besten Dank
meinkino.ch

[Xong]

Ich habe noch ein bisschen an XSearch gefeilt:

• Fehler behoben: Ausgeschlossene Kategorien und Artikel werden nicht indexiert.
• Backend verbessert
• Fehler behoben: Ein leerer Suchstring wird mit einer "leeren" Antwort begrüßt und führt nicht mehr zu einem Fehler.
• Rekursive Funktionen umschreiben
• Progressbar für schrittweise Indexierung

Als nächstes muss ich an die Doku und ein paar neue Beispielmodule schreiben. Ich weiß aber nicht, ob ich das heute noch schaffe.

Die neue Version ist in der Downloadsektion von Redaxo: http://www.redaxo.de/180-0-addon-detail ... don_id=587

[Gabi]

Ich habe eben das AddOn installiert und aktiviert.
Leider bekomme ich im AddOn selber folgende Fehlermeldung:

[ externes Bild ]
Fatal error: Call to a member function getArticles() on a non-object in /var/www/virtual/xxx.de/htdocs/redaxo/include/addons/xsearch/functions/functions.inc.php on line 54

Hat Jemand einen Tipp woran das liegen könnte?

Redaxo 4.2.1 am Laufen

[Xong]

Hallo Gabi!

Danke für deine Bugmeldung.

Ich habe die betroffene Funktion umgeschrieben und dabei auch gleich die unnötige Rekursion entfernt.

Kannst du XSearch nochmal neu herunterladen und testen? Wäre klasse!

[Richard.Laing]

Hi Robert
ich habe die neue version (45)
installiert und getestet.

indexsierung erheblich besser mit dem ladebalken.

wenn ich aber in einer seite eine auflistung habe von anderen artikeln (teaser) gibt es probleme bei der indexsierung und es werden in der ausgabe(frontend) nur noch die pagination angezeigt und keine suchergebnisse...

gruß richy

[Xong]

[...] es werden in der ausgabe(frontend) nur noch die pagination angezeigt und keine suchergebnisse...

Das Problem liegt am Suchmodul.

Damit XSearch auch unter PHP4 läuft musst ich "überladene" Funktionen aus der Klasse streichen. Deshalb benötigt setLimit jetzt ein Array mit je einem Eintrag für Start und Länge, welche dann an die LIMIT-Klausel der MySQL-Abfrage weitergegeben werden.

[Richard.Laing]

hi robert,
ich nutze php 5
habe die neueste version (45) oder sind wir schon wieder weiter?

Das aktuelle Modul (ähnlichkeitssuche) habe ich auch drin?

gruß richy

[Xong]

Ich war fleißig.

Die aktuelle Version ist für große Seiten (da geht ein ganz dickes Dankeschön an Richard) nun wesentlich performanter.

Desweiteren werden bei der schrittweisen Indexierung nun die verstrichene und die verbleibende Zeit angezeigt.

Dann habe ich mich an einer Übersetzung der Sprachdatei ins Englische versucht. Wenn da nochmal jemand drüber schauen könnte... =)

Außerdem habe ich ein bisschen unter der Haube gewerkelt.

Als nächstes würde ich gerne noch ein paar Beispielmodule schreiben, um zu zeigen, was alles möglich ist.
Wenn es da Anregungen oder Wünsche gibt, bin ich auch gerne bereit, auf diese einzugehen.

Für Beispielmodule würde ich im Moment folgende Themen wählen:

• Erweiterte Pagination
• PDF-Dateien in die Suche einbeziehen

Edit: Das Wichtigste habe ich natürlich vergessen zu erwähnen.
Für die Konfigurations- und die Hilfeseite im Backend muss der Benutzer nun entweder Administrator sein oder das Recht xsearch[settings] besitzen.

[Gabi]

Kannst du XSearch nochmal neu herunterladen und testen? Wäre klasse!

Moin Xong,

neu installiert, getestet und für verdammt gut befunden. Tolle Arbeit!
Ich werde XSearch nun bei unserem Stadtportal MeinCelle.de einbauen.

Ich liebe das jetzt schon

Vielen vielen Dank für die hervorragende Arbeit.

Gabi

edit: hab nun doch noch ein "kleines" Problem. In den Einstellungen wird nichts übernommen. Bin Administrator, hab dennoch die Rechte hinzugefügt und nichts passiert. Ebenso hab ich noch die Schreibrechte testweise verändert, auch keine Veränderung...

[Xong]

Hi Gabi!

Danke für dein Lob!

edit: hab nun doch noch ein "kleines" Problem. In den Einstellungen wird nichts übernommen.

Das ist mir auch gerade aufgefallen.
Die neue Version ist hochgeladen.
Es können aber noch weitere Fehler auftreten. Außerdem ist diese Version noch nicht ganz fertig, da ich zumindest die Dateisuche noch optimieren muss (Rekursion entfernen).

[stockamster]

Hallo

Ich die neuste Version installiert und getestet. Irgenwie wird bei mir der Index nicht getriggert, wenn ich einen neuen Artikel hinzufüge oder lösche.

Trotzdem super Arbeit.

Schöne Grüsse
meinkino.ch

[Xong]

Ich die neuste Version installiert und getestet. Irgenwie wird bei mir der Index nicht getriggert, wenn ich einen neuen Artikel hinzufüge oder lösche.

Suchst du dann nach dem Artikelnamen oder nach Inhalt im Artikel?

[kubber]

Hallo Xong,

Hat sich mit der neuen Version das Problem im Zusammenspiel mit Markitup + Internet Explorer (Eval...erinnerst Du Dich?) gelöst.
Dann würde ich es gerne nochmal neu installieren.

Gruß

[kubber]

Ich habe jetzt die Suche nochmal installiert - funktioniert super aber leider nicht mit IE + Markitup (die Zusammenhänge übersteigen leider meinen Horizont). Falls es eine Lösung gäbe wäre das super

[Xong]

Hi!

Ich habe ´ne neue Version hochgeladen.

Wichtigste Änderungen:

• Konfiguration der Dateisuche aufpoliert (benötigt jetzt allerdings Javascript)
• Automatische Indexierung verbessert/entkäfert
• Alle rekursiven Funktionen in iterative umgewandelt

Ich weise nochmal ausdrücklich darauf hin, dass wieder Bugs drin sein könnten.
Wenn jemand Lust hat, mir beim Testen zu helfen, dann kann er mir eine PN schreiben. Ich würde dann nämlich ein paar Testfallkonfiguration aufstellen und diese dann unter den Testern aufteilen. Schön wäre es, wenn ihr mir dazu auch die PHP- und MySQL-Versionen, mit denen getestet werden können, schreiben könntet.

Ich werde die nächsten Tage an weiteren Beispielmodule schreiben.
Gerade für die PDF-Suche, die sicher gerne genommen werden wird, existiert noch kein Beispiel. Wenn ihr weitere Beispiel sehen wollt oder Fragen habt, ob man dies und das mit XSearch machen könnte, dann könnt ihr euch wie immer hier im Thread oder per PN melden.

Ich habe jetzt die Suche nochmal installiert - funktioniert super aber leider nicht mit IE + Markitup (die Zusammenhänge übersteigen leider meinen Horizont).

Kannst du mir nochmal die Zugangsdaten geben? Ich würde mir das gerne nochmal anschauen.

[Xong]

Moin!

Ich habe ein Beispielmodul für die Suche mit PDF-Dateien, Pagination und Ähnlichkeitssuche geschrieben.
Dabei ist mir auch gleich noch ein Fehler im Addon aufgefallen.

Viel Spaß mit der neuen Version.

Nochmal der Hinweis, dass diese Version immer noch getestet wird.

[Xong]

Folgende Neuigkeiten:

• Dateisuche weiter verbessert (Suchtiefe ausgehend von den ausgewählten Verzeichnissen kann bestimmt werden)
• Englische Sprachdateien hinzugefügt
• Bug bei der automatischen (De-)Indexierung entfernt

Wenn weitere Probleme bestehen, dann bitte melden.

Ich geh jetzt zum Sport und tob´ mich aus.

[Richard.Laing]

läuft bestens

kleiner bug bei den artikeln die ich ausklammern möchte, werden nur die ids angegeben und nicht mehr der name...

gruß richy

[zorkminos]

Erstmal ein großes Kompliment an Xong für dieses fantastische AddOn.

Leider funktioniert das Beispielmodul mit der PDF-Suche bei mir nicht. Ich bekomme folgende Fehlermeldung, wenn ich eine Suche ausführe:

Code: Alles auswählen

Parse error: syntax error, unexpected T_PAAMAYIM_NEKUDOTAYIM in /var/www/my-domain/redaxo/include/classes/class.rex_article.inc.php(271) : eval()'d code on line 33

Ähnlichkeitssuche, DB-Spalten-Suche und Datei-Suche sind im BE aktiviert. Eine im Medienpool liegende PDF-Datei wurde auch erfolgreich indiziert.

Any idea?
zorkminos

[Xong]

kleiner bug bei den artikeln die ich ausklammern möchte, werden nur die ids angegeben und nicht mehr der name...

Danke, ist behoben.

Leider funktioniert das Beispielmodul mit der PDF-Suche bei mir nicht.
[...]
Any idea?

Ja, das Wiki hat hinter OOMedia ein Fragezeicheneingefügt, weil der Beitrag dazu noch nicht existiert.
Du kannst das Modul noch mal laden. Sollte jetzt funktionieren.

[zorkminos]

Hi Xong,

danke erstmal für den Hinweis bezüglich des Beispielmoduls. Das Fragezeichen hatte ich übersehen. Jetzt funktioniert es.

Doch damit bin ich schon beim nächsten Problem: gefundene PDF-Dateien erscheinen in der Ergebnisausgabe zweimal. Was mir dabei aufgefallen ist: sie werden auch doppelt indiziert.

Code: Alles auswählen

Done: File "/my-domain/files/pressemitteilung_-_sozialticket_ist_mogelpackung.pdf"

Done: File "/my-domain/files/die_verschobene_stadtmitte.pdf"

Done: File (Mediapool) "pressemitteilung_-_sozialticket_ist_mogelpackung.pdf"

Done: File (Mediapool) "die_verschobene_stadtmitte.pdf"

Eine Überprüfung der searchindex-Tabelle ergab, dass hier für jede PDF-Datei zwei Einträge vorliegen.

Es scheint also an der Indizierung zu liegen.

Grüße
zorkminos