Als «nlp» getaggte Fragen

76
Stoppwortentfernung mit NLTK

Ich versuche, einen vom Benutzer eingegebenen Text durch Entfernen von Stoppwörtern mit dem nltk-Toolkit zu verarbeiten, aber beim Entfernen von Stoppwörtern werden die Wörter "und", "oder", "nicht" entfernt. Ich möchte, dass diese Wörter nach dem Entfernen des Stoppworts vorhanden sind, da es...

75
Stemmers vs Lemmatizers

Natural Language Processing (NLP), insbesondere für Englisch, hat sich zu einem Stadium entwickelt, in dem Stemming zu einer archaischen Technologie werden würde, wenn "perfekte" Lemmatisatoren existieren. Dies liegt daran, dass Stemmers die Oberflächenform eines Wortes / Tokens in bedeutungslose...

74
Was genau macht die Keras Tokenizer-Methode?

Gelegentlich erfordern die Umstände Folgendes: from keras.preprocessing.text import Tokenizer tokenizer = Tokenizer(num_words=my_max) Dann singen wir immer dieses Mantra: tokenizer.fit_on_texts(text) sequences = tokenizer.texts_to_sequences(text) Obwohl ich (mehr oder weniger) verstehe, was der...

70
Fuzzy String Vergleich

Was ich vervollständigen möchte, ist ein Programm, das eine Datei einliest und jeden Satz gemäß dem ursprünglichen Satz vergleicht. Der Satz, der perfekt zum Original passt, erhält eine Punktzahl von 1 und ein Satz, der das Gegenteil ist, erhält eine 0. Alle anderen Fuzzy-Sätze erhalten eine...