Als «lucene» getaggte Fragen

Wie wird maschinelles Lernen in das Suchmaschinendesign einbezogen?

Derzeit baue ich eine kleine interne Suchmaschine auf der Basis von Apache Lucene. Sein Zweck ist einfach - basierend auf einigen Stichwörtern werden einige Artikel vorgeschlagen, die intern in unserem Unternehmen verfasst wurden. Ich verwende ein ziemlich standardmäßiges TF-IDF-Scoring als...

Gute Technik für die Tokenisierung von Suchtexten

Wir suchen nach einer Möglichkeit, Text auf die gleiche oder ähnliche Weise zu tokenisieren, wie es eine Suchmaschine tun würde. Der Grund, warum wir dies tun, ist, dass wir statistische Analysen für die Token durchführen können. Die Sprache, die wir verwenden, ist Python. Daher würden wir eine...