Addon RexSearch (Fulltext-Search-Addon)

[Xong]

Kann jmd. ein Beispiel posten wie das Suchformular aussehen muss.

Ein einfaches Suchformular könnte so aussehen:

Code: Alles auswählen

<form id="xsearch_form" action="index.php" method="get">
  <fieldset><legend>Suche</legend>
    <input type="hidden" name="article_id" value="REX_ARTICLE_ID" />
    <input type="hidden" name="clang" value="0" />
    <input type="text" name="xsearch" value="<?php if(!empty($_GET['xsearch'])) echo htmlspecialchars($_GET['xsearch']); ?>" />
  </fieldset>
</form>

Wobei du die "article_id" (REX_ARTICLE_ID) ggf. noch anpassen musst.

[kubber]

Danke das probier ich mal aus - ich habe gestern noch festgestellt das wenn ich von DE_UTF8 auf "nicht UFT8" stelle die Suche doch funktioniert. Ich glaube es lag gar nicht am Paramenter. Ich habe aber momentan noch zu wenig Content um zu sagen ob es bei mir richtig funktioniert.

Poste mein Feedback gerne sobald ich da mehr drin habe.

[Xong]

So, ich habe heute weiter an der Doku gearbeitet.

Allerdings fällt mir gerade auf, dass das Wichtigste fehlt: Die Beschreibung des Ergebnisarrays... =)
Mach ich dann morgen.

[markusnolte]

Hallo zusammen,

also erstmal muss ich sagen, dass hier ein feines Such-AddOn entstanden ist! Die Möglichkeit eigene AddOn-Tabellenfelder mit durchsuchen zu lassen ist einfach klasse!

Aber leider habe ich noch ein Problem mit Umlauten... Wenn ich die Suche in die Demo (REDAXO 4.2.1/utf-8, sowohl Backend als auch Frontend) einfüge und z.B. nach 'möglich' suche und dann das $result-Array augebe, bekomme ich folgende Ausgabe:

Code: Alles auswählen

Array ( [hits] => Array ( ) [keywords] => Array ( [0] => Array ( [search] => m??glich [weight] => 1 ) ) [sql] => SELECT ((( MATCH (`plaintext`) AGAINST ('m??glich')) * 1)) AS RELEVANCE587,id,fid,ftable,fcolumn,texttype,clang,unchangedtext,plaintext FROM rex_587_searchindex WHERE (((`plaintext` LIKE '%m??glich%'))) ORDER BY RELEVANCE587 DESC LIMIT 0,10 [blacklisted] => )

Also die Umlaute werden nicht korrekt in den SQL-String übernommen. Woran kann das liegen?

[Xong]

Hallo Markus!

Also die Umlaute werden nicht korrekt in den SQL-String übernommen. Woran kann das liegen?

Das lag an einem Fehler im Addon. Ich habe ihn beseitigt und eine neue Version hochgeladen.

Besonders stolz bin ich auf eine neue Option.
Es trat nämlich folgendes Problem auf:
Wenn von einem Artikel über die Datenbankspalten auch z. B. der Titel/Name und die Beschreibung indexiert waren und nach einem Suchbegriff gesucht wurde, der im Artikel selbst und in diesen zwei Spalten dieses Artikels auftauchte, dann bekam man als Ergebnis auch dreimal diesen Artikel.

Die Lösung:
Ein Artikel (übrigens auch ein Medium aus dem Medienpool) erscheinen jetzt maximal einmal in den Suchergebnissen, wobei derjenige Datensatz ausgewählt wird, der die höchste Relevanz hat.

Diese Option kann mit der Methode doGroupBy($_bool = true) auch ausgeschaltet werden, indem man false übergibt.

[markusnolte]

Hallo Xong,

die neue Option ist natürlich wieder eine super Verbesserung. Allerdings bekomme ich jetzt bei jeder Suche nachfolgenden Fehler:

Code: Alles auswählen

Warning: Wrong parameter count for array_unique() in C:\xampplite\htdocs\redaxo4_2_1\redaxo\include\addons\xsearch\classes\class.xsearch.inc.php on line 684

Ich sehe gerade, dass der Fehler nicht nur bei einer Suche auftritt, sondern auch im Backend beim Bearbeiten eines Artikels auftritt.

Und bei Wörtern mit Umlauten wird immer noch nix gefunden, da die Umlaute in der DB (eingepflegt über TinyMCE) in der Spalte plaintext maskiert sind, also z.B. möglich! D.h. suche ich möglich, wird natürlich etwas gefunden.

Liegt das jetzt an TinyMCE? Und wie kann man das Problem am sinnvollsten lösen?

[Xong]

Hallo Markus!

Danke für deine gute Fehlerbeschreibung.

die neue Option ist natürlich wieder eine super Verbesserung. Allerdings bekomme ich jetzt bei jeder Suche nachfolgenden Fehler:

Code: Alles auswählen

Warning: Wrong parameter count for array_unique() in C:\xampplite\htdocs\redaxo4_2_1\redaxo\include\addons\xsearch\classes\class.xsearch.inc.php on line 684

Ich sehe gerade, dass der Fehler nicht nur bei einer Suche auftritt, sondern auch im Backend beim Bearbeiten eines Artikels auftritt.

Das Problem wurde behoben. Die Methode und das Attribut hatten den gleichen Namen.

Und bei Wörtern mit Umlauten wird immer noch nix gefunden, da die Umlaute in der DB (eingepflegt über TinyMCE) in der Spalte plaintext maskiert sind, also z.B. möglich! D.h. suche ich möglich, wird natürlich etwas gefunden.

Das ist ein Problem, das mir schon von Anfang an bekannt war.

Liegt das jetzt an TinyMCE? Und wie kann man das Problem am sinnvollsten lösen?

Zwei Vorschläge, wobei der erste eindeutig zu bevorzugen ist:

1. Bring dem Tiny bei, die Zeichen nicht in ihre Entitäten umzuwandeln. Das geht mit der Option entity_encoding : "raw".
2. Behandle die Sucheingabe im Suchmodul mit htmlentities, bevor du sie an die search-Methode weiterreichst.

[markusnolte]

Hallo Xong,

jetzt läuft alles prima! Habe mich für die erste Variante entschieden und den TinyMCE angepasst. Jetzt teste ich noch die Suche über die Felder meiner eigenen AddOns und melde Prombleme natürlich sofort...

Vielen Dank für das tolle AddOn und für deine Hilfe! Die Suche scheint ja jetzt grundsätzlich mal sehr flexibel und kein Sorgenkind mehr zu sein! Echt klasse!

[Xong]

Ich habe noch ein paar Bugs entfernt.
Mit dieser Version ist das Addon prinzipiell für den Produktiveinsatz zu gebrauchen.

Probleme und Bugs bitte hier melden. Ich kümmere mich dann umgehend darum.

[Mukido]

Auch von mir vielen Dank für das klasse Addon.

Die Suche in den Artikeln funktioniert Wunderbar. Ich habe dein Beispiel Addon "Suche mit Pagination" genommen.

Leider werden die Tabellen mit meinem eigenen Addon nicht durchsucht bzw. es wird kein Ergebniss geliefert. Im Backend habe ich die Tabellen markiert.

Ich teste das ganze lokal, daher kann ich Dir keinen Zugang einrichten.

Gruß Marco

[markusnolte]

Hallo Xong!

So, ich hab´s jetzt auch mal mit ´nem eigenen AddOn getestet. Entgegen Marco´s Feststellung kann ich sagen, dass die angegebenen Spalten meines AddOn´s zwar durchsucht und auch Ergebnisse geliefert werden, jedoch keine Aktualisierung der Suchergebnisse nach einer Änderung von Daten in meinem AddOn erfolgt. Also es erfolgt auch keine Aktualisierung in der Tabelle rex_587_searchindex. Aber ich denke, dass dir das bekannt ist...

Erst wenn man in XSearch den Index schrittweise erstellt, tauchen die Änderungen der Daten in meinem AddOn wieder in den Suchergebnissen auf! Die Frage ist also, wie man die Aktualisierung von zusätzlichen Spalten automatisiert!?

Hast du dazu eine Idee? Ich glaube du kennst dich am Besten in deinem AddOn aus...

[Xong]

@Mukido: Das reine Markieren der Spalten in den Addoneinstellungen, indexiert die Spalten noch nicht. Die Indexierung muss manuell gestartet werden.

@Markus: Das Problem der teilweise fehlenden automatischen Indexierung ist der Flexibilität des Addons geschuldet.
Natürlich kannst du aber Spalten auch nachträglich oder neu indexieren.

Der folgende Code indexiert eine gesamte DB-Spalte neu:

Code: Alles auswählen

$xsearch = new XSearch;
$xsearch->indexColumn('tabelle', 'spalte');

Wenn du die ID des Eintrags kennst, der neu indexiert werden soll, dann kannst du diese auch direkt angeben:

Code: Alles auswählen

$xsearch = new XSearch;
$xsearch->indexColumn('tabelle', 'spalte', 'id', $id);

Dabei ist der dritte Paramter der Name der ID-Spalte der Tabelle (in der Tabelle rex_article wäre das z. B. "id") und der vierte Parameter ist die eigentliche ID, des Datensatzes, der neu indexiert werden soll.

(Sinnfreies) Beispiel: Der Name eines Artikels mit der ID 10 wird in einem Modul verändert. Die Datenbankspalte rex_fpsw_article.name ist mit XSearch indexiert. Das Modul, das den Name ändert, soll nun auch automatisch die Indexierung erneuern. Da es nicht nötig ist, alle Artikelnamen neu zu indexieren, nutzen wir die ID des Artikels, die wir ja kennen.
Das geht so:

Code: Alles auswählen

$xsearch = new XSearch;
echo $xsearch->indexColumn('rex_fpsw_article', 'name', 'id', REX_ARTICLE_ID);

Der dritte Parameter ist übrigens deshalb notwendig, weil die identifizierenden DB-Spalten nicht immer "id", sondern z. B. auch "file_id", "eidie", etc. heißen können.

Übrigens müsst ihr das Addon nochmal neu laden, da noch ein Fehler im Suchcache war. Ich arbeite noch ein wenig an der Doku. Dort wird dann auch bald stehen, unter welchen Bedingungen Artikel oder DB-Spalten automatisch indexiert werden.

[markusnolte]

Hey Xong,

das ist genau das, was ich gesucht habe! Jetzt werden die Änderungen sofort übernommen. Vielen Dank! Hätte mir die Doku im Wiki wohl besser anschauen sollen...

[Xong]

das ist genau das, was ich gesucht habe! Jetzt werden die Änderungen sofort übernommen. Vielen Dank! Hätte mir die Doku im Wiki wohl besser anschauen sollen...

Das hätte dir ausgerechnet bei dieser Methode (und zwar nur bei dieser ) gar nichts genutzt, weil diese Methode gerade nochmal in ihrer Schnittstelle verändert wurde. Dafür konnte ich sie jetzt testen und auch gleich einen Bug beheben.

Was mich sehr interessiert, sind die Zeiten, die eure Suchabfrage brauchen. Dabei interessiert mich vor allem der Vergleich zwischen erster und zweiter Suchabfrage, da bei der ersten Abfrage die Suche noch nicht gecached wurde.

Meine bisherigen Erfahrungen bei einer eher kleinen Seite zeigen bisher Verbesserungen um den Faktor 10...150, wenn die Suche schon im Cache vorhanden ist. Das hängt natürlich vor allem von der Größe des Suchindex und der Suchworte ab.

Habt ihr da schon Ergebnisse?
Die Dauer der Suche findet ihr im Ergebnisarray beim Index "time": $result['time'].

[markusnolte]

Also was die Zeit betrifft, kann ich die messbare Beschleunigung bestätigen. Allerdings fällt diese gefühlt nicht auf... Da muss man mal abwarten, wenn man es mit einer wirklich großen Seite zu tun hat.

Allerdings ist mir jetzt wieder eine Sache aufgefallen... Es funktioniert keine Teilbegriffsuche mehr! Wurde in der vorherigen Version noch 'Anpassungsfähigkeit' gefunden, wenn man nach 'Anpassung' gesucht hat, wird jetzt kein Ergebnis mehr zurückgeliefert.

[Xong]

Allerdings ist mir jetzt wieder eine Sache aufgefallen... Es funktioniert keine Teilbegriffsuche mehr! Wurde in der vorherigen Version noch 'Anpassungsfähigkeit' gefunden, wenn man nach 'Anpassung' gesucht hat, wird jetzt kein Ergebnis mehr zurückgeliefert.

Ups... Ist behoben! =)

[markusnolte]

So ganz war es das noch nicht... Suche ich nach 'software', wird 'Redaktionssoftware' gefunden. Suche ich nach 'redaktion', wird nichts gefunden! Also Wörter, die mit dem Suchbegriff beginnen, werden noch nicht wieder gefunden.

[Xong]

So ganz war es das noch nicht... Suche ich nach 'software', wird 'Redaktionssoftware' gefunden. Suche ich nach 'redaktion', wird nichts gefunden! Also Wörter, die mit dem Suchbegriff beginnen, werden noch nicht wieder gefunden.

Ich kann das Problem nicht mehr nachvollziehen.

Kannst du das Addon nochmal laden und testen, ob der Fehler noch auftaucht?

[markusnolte]

Hey Xong,

jetzt passt es. Vielleicht habe ich auch irgendwo einen Fehler gemacht...
Ich bin aktuell echt sehr zufrieden mit dem Such-AddOn... Sollte mir noch was auffallen, melde ich es dir natürlich sofort!

[Mukido]

Hallo,

noch mal zu meinem Addon Problem.
Die Tabellen werden indexiert. Aber meine Suchausgabe bleibt leer. Ich mache hier wahrscheinlich einen grundlegenden Fehler aber welchen?

Gruß Marco

[markusnolte]

Hey Xong,

eine Sache ist mir tatsächlich noch aufgefallen, obwohl ich nicht weiß, ob das nicht vielleicht so sein soll!? Wenn ich das AddOn installiere, reicht es nicht aus, 'Index vollständig erstellen' auszuführen. Stattdessen ist es für die komplette erste Indexierung notwendig (für Artikel und zusätzliche Spalten), dass man 'Index schrittweise erstellen' ausführt. Ist das die korrekte Vorgehensweise und so gewollt?

Ich habe noch mal im Wiki und in diesem Thread nachgesehen aber keine Erklärung dazu gefunden. Wenn es gewollt ist, ist es ja nicht schlimm... Nur das die Vorgehensweise klar ist.

[Xong]

noch mal zu meinem Addon Problem.
Die Tabellen werden indexiert. Aber meine Suchausgabe bleibt leer. Ich mache hier wahrscheinlich einen grundlegenden Fehler aber welchen?

Es klingelt gerade. In meinem Kopf. =)

Der Fehler liegt im Beispielmodul. Ich habe es mal leicht abgewandelt: Beispiel 5

[Xong]

eine Sache ist mir tatsächlich noch aufgefallen

Je mehr Fehler in diesem Stadium des Addons entdeckt werden, desto besser. =)

Wenn ich das AddOn installiere, reicht es nicht aus, 'Index vollständig erstellen' auszuführen. Stattdessen ist es für die komplette erste Indexierung notwendig (für Artikel und zusätzliche Spalten), dass man 'Index schrittweise erstellen' ausführt. Ist das die korrekte Vorgehensweise und so gewollt?

Vermutlich liegt das an einem Skriptabbruch, weil die maximale Skriptausführungszeit überschritten wurde.
Könntest du das mal testen, in dem du testweise das Error-Reporting-Level hochschraubst?

Ich habe noch mal im Wiki und in diesem Thread nachgesehen aber keine Erklärung dazu gefunden. Wenn es gewollt ist, ist es ja nicht schlimm... Nur das die Vorgehensweise klar ist.

Die Vorgehensweise des Addons möchte ich in der Doku auch noch erläutern. Das wird aber ein etwas längerer Text. Deshalb bin ich bis jetzt noch nicht dazu gekommen.

Danke auf jeden Fall für deine Hilfe.

[markusnolte]

Vermutlich liegt das an einem Skriptabbruch, weil die maximale Skriptausführungszeit überschritten wurde.
Könntest du das mal testen, in dem du testweise das Error-Reporting-Level hochschraubst?

Also ich glaube auch, dass die Skriptausführung abgebrochen wird, aber nicht, dass es an der Skriptausführungszeit liegt, denn ich teste das mit der Demo und einem zusätzlichen Tabellenfeld.

Das geht ruck zuck, d.h. die vollständige Indexierung ist nach 1 Sekunde erledigt! Danach wird aber auf die Strukturverwaltung weitergeleitet, was vermutlich auch nicht so wirklich sein soll?!

[Xong]

Das geht ruck zuck, d.h. die vollständige Indexierung ist nach 1 Sekunde erledigt! Danach wird aber auf die Strukturverwaltung weitergeleitet, was vermutlich auch nicht so wirklich sein soll?!

Welche Demo nimmst du dafür? Die, die bei der Installation von Redaxo angeboten wird?