Addon RexSearch (Fulltext-Search-Addon)

[timo.huber]

Hi,

naja, das Problem besteht beim jquery Autocompleter.
Dort wird $hits["highlightedtext"] als Inhalt für die Vorschlagbox genutzt.
Der Vorschlag wird beim draufklicken in das Textfeld übernommen.
Dadurch steht im Textfeld z.b.

Code: Alles auswählen

... Lorem ipsum bla blub ...

Wenn der benutzer nun auf "Suchen" klickt wird natürlich nach Ergebnissen mitsamt den 3 Punkten gesucht, was zu fehlerhaften Ergebnissen führt.

Das ändern in der Textdatei ist bei dem autocompleter Addon unvorteilhaft, daher dachte ich, dass es möglich wäre diese Zeichen bei der Ausgabe zu ändern.
z.b.

Code: Alles auswählen

$xsearch = new XSearch();
$xsearch->setMaxHighlightedTextChars(20);
$xsearch->setKomischeSonderZeichen("");

Zwar wird das Zeichen bei der Ausgabe für jquery per str_replace ersetzt, dies hat bei meinen Tests jedoch nicht bei allen Systemen funktioniert (Charset wahrscheinlich).

MFG

[Xong]

Wenn der benutzer nun auf "Suchen" klickt wird natürlich nach Ergebnissen mitsamt den 3 Punkten gesucht, was zu fehlerhaften Ergebnissen führt.

Das ändern in der Textdatei ist bei dem autocompleter Addon unvorteilhaft, daher dachte ich, dass es möglich wäre diese Zeichen bei der Ausgabe zu ändern.

Klingt einleuchtend. =)

Code: Alles auswählen

$xsearch = new XSearch();
$xsearch->setMaxHighlightedTextChars(20);
$xsearch->setKomischeSonderZeichen("");

Da die Klassenattribute von XSearch alle public sind, kannst du die Ellipse vor der Suche auf einen leeren String setzen:

Code: Alles auswählen

$xsearch->ellipsis = '';

Zwar wird das Zeichen bei der Ausgabe für jquery per str_replace ersetzt, dies hat bei meinen Tests jedoch nicht bei allen Systemen funktioniert (Charset wahrscheinlich).

Jep, genau daran liegt´s.

[Xong]

Eine neue XSearch-Version ist hochgeladen.

Diese Version baut bei der Indexierung automatisch einen Schlagwortindex auf, von dem im Moment die Ähnlichkeitssuche und das Autocompleter-Plugin profitieren.

Wichtig: Diese Version baut auf einer veränderten Datenbankstruktur auf und muss deshalb neu installiert werden.

Meiner Meinung nach lohnt sich der Umstieg auf diese stabile Version.
Zumindest alle, deren Webseite sich noch in der Entwicklung befindet, sollten darüber nachdenken, diese Version zu nutzen.

Die Version wurde unter PHP 5.2.9 getestet und kann auch ältere XSearch-Versionen ersetzen. Wer Probleme hat, eine ältere Version von XSearch (z. B. aufgrund der verwendeten Module) aufzuwerten, kann sich gern an mich wenden.

Trotzdem: Bei einer Umstellung auf die neue Version übernehme ich natürlich keine Haftung.

Viel Spaß mit XSearch 0.4.1!

PS: Das Wort "Version" kommt wegen geldbringenden Werbemaßnahmen so oft vor. Oder so...

[timo.huber]

Hi,

saubere Arbeit Xong.
Mal eine Frage zur Index Erstellung.
Ich habe bemerkt, dass bei wiederholtem erstellen die Keywords (count) immer erhöht wird.
Dadurch wird die Relevanz für die (eigentlich nur einmal erstellten) Keywords von mal zu mal höher.
Wenn nun ein Neuer Text hinzukommt, werden neue Keywords daraus direkt mal schlechter in der Relevanz eingestuft (order by count).

Hab ich hier etwas übersehen?


Desweiteren sind viele Tags nun in der Keyword Tabelle.
Ist es nicht möglich die Keywords aus dem Plaintext zu erstellen, oder voreingestellte Stoppwörter einzufügen?

Werden die Stoppwörter aus den Such-Einstellungen auf die die Keywords-Erstellung berücksichtigt (anscheinend nicht).


mfg

[Xong]

Hallo Timo!

Ich habe alle von dir angesprochenenen Punkte beachtet bis auf

Ist es nicht möglich die Keywords aus dem Plaintext zu erstellen, oder voreingestellte Stoppwörter einzufügen?

Das sollte schon so sein.
Vielleicht ist aber wirklich noch ein Plugin notwendig, mit dem man granularer einstellen kann, welche Tags rausgefiltert werden sollen.
Ich werde das demnächst in Angriff nehmen.

Wenn du aber im Moment noch HTML-Code im Plaintext haben solltest, dann liegt das Problem vielleicht auch bei dir, weil eigentlich mit strip_tags alle HTML- und PHP-Tags entfernt worden sein müssten.

Kannst du mir mal einen Originaltext und einen daraus erstellten Plaintext schicken?

[timo.huber]

Huhu Xong,

habe mir nun eine frische Demo Installation angelegt.
Nach dem Index erstellen hab ich als ersten Eintrag in der Keywords Tabelle "div, class, img, action, method, get, fieldset usw". Es sind natürlich großteils "richtige" suchwörter enthalten!

Code: Alles auswählen

Select * from rex_587_searchindex where plaintext like "%img%"

liefert jedoch wie erwartet kein Ergebnis.

Code: Alles auswählen

Select * from rex_587_searchindex where plaintext like "%div%"

Nur für "inDIViduell", passt, und dadurch würde ja auch nicht "div" in der keyword Tabelle stehen.

Also es ist schon richtig, dass im Plaintext keine Tags drin stehen.
Aber greift storeKeywords auf den Plaintext zu?
o.O


mfg
timo

[Thomas.Skerbis]

Hallo bei mir läuft PHP mit Userrechten (SUPHP). Wenn ich Xsearch installieren will versucht das Addon sich unter dem User www-data Gruppe www-data zu installieren, was nicht funktioniert. Die Intsallation müsste die Daten bei meinem PLESK-System als Gruppe: psacln und z.B. User: ftpuser anlegen. Ich denke bei Plugins ist das dann auch so.

Eine Idee?

[Xong]

Hallo Timo und Thomas!

Also es ist schon richtig, dass im Plaintext keine Tags drin stehen.
Aber greift storeKeywords auf den Plaintext zu?

Da lag der Fehler. Sowas übersieht man aber auch verdammt schnell.

Hallo bei mir läuft PHP mit Userrechten (SUPHP). Wenn ich Xsearch installieren will versucht das Addon sich unter dem User www-data Gruppe www-data zu installieren, was nicht funktioniert. Die Intsallation müsste die Daten bei meinem PLESK-System als Gruppe: psacln und z.B. User: ftpuser anlegen. Ich denke bei Plugins ist das dann auch so.

Eine Idee?

Keine. Ich kenne mich damit aber auch überhaupt nicht aus.

XSearch hat keine große Installationsroutine. Es werden nur $REX['ADDON']['install']['xsearch'] auf 1 gesetzt, die Dateien aus dem files-Ordner kopiert und die DB-Tabellen angelegt.
Dabei verlässt sich das Addon komplett auf die redaxo-interne Implementierung.

Funktionieren denn andere Addons? Werden deren Inhalte aus den internen files-Ordnern richtig kopiert?


Ich habe übrigens doch noch eine neue Version (0.4.2) hochgeladen, deren DB-Layout leicht geändert wurde. Entschuldigung dafür.

Für dich Timo ist noch interessant, dass die Sprachspalte in der Keyword-Tabelle entweder die ID der Sprache enthält oder, false keine Sprache ermittelt werden konnte, den Wert -1.
Du könntest in deinem Autocompleter-Plugin die SQL-Abfrage für die Keywords also so gestalten, dass mindestens alle Keywords mit der Sprach-ID = -1 und, wenn eine Sprache aktiv ist, zusätzlich noch alle Keywords dieser aktiven Sprache vorgeschlagen werden.

[timo.huber]

Hoi hoi,

noch als Idee für Stoppwörter:
- eventuell ist es noch hilfreich einfach komplette Zahlenblöcke zu entfernen.

Ich habe wieder die Redaxo Demo (+ bissl Inhalt).
Dort werden nun viele Keywords in der Art von:

8221 -> html entitie
0611, 504, .. -> Telefon
usw.

Ich frage mich ob es zu weit geht, wenn Standardmäßig alle reine Zahlenblöcke entfernt werden, aber Sinnvoll ist es meiner Meinung nach allemal.


Desweiteren hab ich diesen und ähnliche Keywords:

Code: Alles auswählen

REDAXOFür

Dies kommt anscheinend daher, dass die Tags einfach entfernt werden.
Dort wäre es Sinnvoll, wenn z.b. bei

Code: Alles auswählen

<a href="index.php?article_id=8">Was ist REDAXO</a></li><li id="rex-article-9" class="rex-normal"><a href="index.php?article_id=9">Für wen ist REDAXO</a></li>

Die Tags mit einem Leerzeichen ersetzt werden.
Ich denke doppelte Leerzeichen lässt du bereits an einer Stelle ersetzen.
Dadurch wären dann zumindest diese zusammen geschriebenen Ausdrücke weg, und würde auch aufgesplitet werden.


Neue Keywords, bzw. Keywords nach denen ich Suche werden immer mit clang = -1 angelegt. Danach funktioniert auch wieder die Zählung, jedoch eben in der falschen clang ID.
Irgendwo geht da die clang ID verloren =(.


der Completer ist auf das Datenbanklayout mit clang angepasst.


mfg

[Xong]

noch als Idee für Stoppwörter:
- eventuell ist es noch hilfreich einfach komplette Zahlenblöcke zu entfernen.
[...]
Ich frage mich ob es zu weit geht, wenn Standardmäßig alle reine Zahlenblöcke entfernt werden, aber Sinnvoll ist es meiner Meinung nach allemal.

Also wirklich alle Zahlenblöcke zu entfernen geht zu weit.
Die Stopwörter haben im Prinzip den Effekt, dass diese Wörter gar nicht gefunden werden, also unsichtbar im SUchindex schlummern.
Und da sollte man dann auch ansetzen, nämlich bei der Filterung während der Umwandlung in Plaintext.
Das werde ich aber als zusätzliches Plugin schreiben und kommt ... demnächst. =)

Desweiteren hab ich diesen und ähnliche Keywords:

Code: Alles auswählen

REDAXOFür

Dies kommt anscheinend daher, dass die Tags einfach entfernt werden.

Stimmt. Ich habe das ausgebessert. Jetzt werden alle Tags (nämlich <IRGENDWAS AUSSER [>]>) mit einem Leerzeichen ersetzt.

Neue Keywords, bzw. Keywords nach denen ich Suche werden immer mit clang = -1 angelegt. Danach funktioniert auch wieder die Zählung, jedoch eben in der falschen clang ID.
Irgendwo geht da die clang ID verloren =(.

Übergibst du denn auch eine Sprach-ID an XSearch?
Edit: Quatsch mit Soße: Selbst wenn, dann hätte das Addon die neuen Keywords ohne Sprache eingetragen. Ich habe das geändert.

der Completer ist auf das Datenbanklayout mit clang angepasst.

Cool!

[Thomas.Skerbis]

Funktionieren denn andere Addons? Werden deren Inhalte aus den internen files-Ordnern richtig kopiert?

Mal ja mal nein. Wenn ich die Dateien manuell in den Files-Ordner kopiere funktioniert es meistens.
Ich werds mal unter Bugs melden.

[Mightymagic]

Hallo,

ich habe das Searchaddon in meine Page eingebunden, gebe das Suchfeld in meiner Kopfzeile aus und habe nun das Problem, das die Ergebnisse nicht wie gewünsch durch Aufruf einer Ergebnisseite ausgegeben werden. Im Wiki steht: Wenn dies nicht der Fall sein soll und das Formular z. B. im Template eingebunden wird, muss die Artikel-ID manuell so angepasst werden, dass sie auf den Artikel verweist, der die Suchergebnisse präsentiert.

Kann mir jmd ein Beispiel zeigen, wie ich die Artikel-ID wo eintragen muss, um die gesonderte Suchergebnisseite aufzurufen?

Danke.

[Xong]

Kann mir jmd ein Beispiel zeigen, wie ich die Artikel-ID wo eintragen muss, um die gesonderte Suchergebnisseite aufzurufen?

Du hast ja einen Artikel angelegt, in dem du ein Suchergebnis-Modul eingebunden hast. Die ID dieses Artikels musst du nun im Sucheingabe-Modul/-Template mit der Text-Stelle REX_ARTICLE_ID ersetzen.
Fertig ist die Laube! =)

[Mightymagic]

Ok, mal sehen ob ich es verstanden habe:

Ich habe einen Artikel mit dem Ausgabemodul angelegt. Dieser hat die ID "71".

Im Template habe ich den Code:

Code: Alles auswählen

<form id="xsearch_form" action="index.php" method="get">
<fieldset style="width:150px" align="right">
<legend>Suche</legend>
      <input type="hidden" name="article_id" value="REX_ARTICLE_ID" />
      <input type="hidden" name="clang" value="REX_CLANG_ID" />
      <center><input type="text" name="xsearch" value="<?php if(!empty($_GET['xsearch'])) echo htmlspecialchars($_GET['xsearch']); ?>" /></center>
</fieldset>
  </form>

In der Zeile

Code: Alles auswählen

<input type="hidden" name="article_id" value="REX_ARTICLE_ID" />

ersetze ich nun das "REX_ARTICLE_ID" durch "REX_ARTICLE[71]" und dann sollte als Ergebnisseite der Artikel mit der ID 71 aufgerufen werden?

[Xong]

ersetze ich nun das "REX_ARTICLE_ID" durch "REX_ARTICLE[71]" und dann sollte als Ergebnisseite der Artikel mit der ID 71 aufgerufen werden?

Das würde mich wundern. =)

Nochmal: Ersetze REX_ARTICLE_ID mit 71.
Dann sollte nach Absenden des Suchformulars der Artikel mit der ID 71 aufgerufen werden.

Solltest du mod_rewrite verwenden muss das Formular ggf. anders auf die Ergebnisseite verweisen. Aber das besprechen wir erst, wenn´s soweit ist.

[Mightymagic]

Der Groschen fällt in Pfennigen.

So, habe jetzt die passenden Änderungen gemacht aber er sucht seltsamerweise wohl nur im Artikel mit der ID 71. Muss ich viellleicht neu indizieren?

[Xong]

Der Groschen fällt in Pfennigen.

So, habe jetzt die passenden Änderungen gemacht aber er sucht seltsamerweise wohl nur im Artikel mit der ID 71. Muss ich viellleicht neu indizieren?

Versuch´ dich mal an der schrittweisen Indexierung. Dann siehst du auch gleich ob und welche Artikel indexiert und damit durchsuchbar werden.

So an sich müsste die Suche normalerweise in allen Artikeln suchen.

[gege]

Hi,

hab ein Problem mit der Indexierung.
Bekomme da eine Fehlermeldung vom Community-Addon.
Ich hab da ein Modul gebastelt, das mehrere Verlinkungen beinhaltet, aber nicht alle für alle sichtbar sind bzw. nur anzeigt werden wenn der entsprechende User eingelogged ist. Das wird mit der Funktion
rex_com_checkUserPerm gechecked.
Genau diese Funktion gibt mir dann den Fehler in der Indexierung aus:

Code: Alles auswählen

Fatal error: Call to undefined function rex_com_checkUserPerm() in D:\gruscht\xampplite\htdocs\seite\redaxo\include\classes\class.rex_article.inc.php(271) : eval()'d code on line 22

Den Fehler hab ich erst auch im Backend bekommen und diesen dann im Modul über $REX['REDAXO'] behoben.
Weiter vorne habe ich gelesen das es eine Aktion gibt, welce ich aber leider nicht gefunden habe.

Gibt es hierfür eine Lösung?

[Xong]

Gibt es hierfür eine Lösung?

Mehrere:

1. Schließe den betroffenen Artikel bzw. alle Artikel, die diese Funktion nutzen, von der Suche aus.
2. Nutze einen der beiden anderen Indexierungsmodi (Indexierung der Artikel über eine HTTP-GET-Anfrage oder Indexierung der Artikel über den Redaxo-Cache (mit Template, liefert das gleiche Ergebnis wie per HTTP-GET-Anfrage))
3. Füge die Funktion dem Modul hinzu, wo sie aufgerufen wird (vorher mit function_exists() prüfen) oder stelle sie global zur Verfügung.

Ich hoffe, diese Vorschläge helfen dir weiter. Der zweite ist wohl am einfachsten und ohne großen Aufwand umzusetzen.

[gege]

Super danke, da nehm ich doch glatt Vorschlag 2

[Mightymagic]

Versuch´ dich mal an der schrittweisen Indexierung. Dann siehst du auch gleich ob und welche Artikel indexiert und damit durchsuchbar werden.

So an sich müsste die Suche normalerweise in allen Artikeln suchen.

Der Versuch hat funktioniert. Es Indiziert wieder alle Seiten.

[nitzer]

Schönes AddOn, aber bei mir läuft da garnichts. Ich denke nach dem Wiki hab ich alles richtig installiert, Suchformular eingebaut und ID-VErweis auf die Ergebnisseite. Es tut sich aber nichts.
Im Backend hingegen zeigt mir die Statistik aber die Anzahl der fehlgeschlagenen Suchen an.

Teste grad lokal unter MAMP, PHP-Version ist 5.2.6, MySQL 5.0.41.

Alles in einer frischen Redaxo-Installation ohn zusätzlich AddOns, nur der Standard. Fehler-Meldungen hab hab ich in der PHP-Ini eingeschaltet, aber da kommt auch nichts.

Was könnte ich falsch gemacht haben?

[Xong]

Was könnte ich falsch gemacht haben?

Hast du die Indexierung gestartet?

[nitzer]

Ja mehrfach. Es kommt immer "Leider nichts gefunden".

Ich hab alle Module aus dem Wiki probiert

[Xong]

Ja mehrfach. Es kommt immer "Leider nichts gefunden".

Ich hab alle Module aus dem Wiki probiert

Ich vermute mal, dass da vorher schon was hakt. An den Modulen liegt es bestimmt nicht.

Was passiert denn z. B. bei der schrittweisen Indexierung?
Und welche PHP- und MySQL-Version werden verwendet?

Wenn alle Stränge reißen, kannst du mir ja auch einen Testzugang geben und ich schau´s mir mal an.