Ich habe 40000 Zeilen Textdaten der Gesundheitsdomäne. Daten haben eine Spalte für Text (2-5 Sätze) und eine Spalte für ihre Kategorie. Ich möchte das in 300 Kategorien einteilen. Einige Kategorien sind unabhängig, während andere etwas verwandt sind. Die Verteilung der Daten auf die Kategorien ist...
Ich habe bereits durchgemacht diesen Beitrag die Anwendungen nltk‚s cmudictzum Zählen der Anzahl von Silben in einem Wort: from nltk.corpus import cmudict d = cmudict.dict() def nsyl(word): return [len(list(y for y in x if y[-1].isdigit())) for x in d[word.lower()]] Für Wörter außerhalb des...
Golang ist eine meiner Lieblingssprachen und ich möchte es für ein persönliches NLP / ML-Projekt verwenden. Ist Golangs Ökosystem dafür gut und reich genug? Gibt es ein alternatives Paket für nltk in
Ich lese diesen Artikel "Sequence to Sequence Learning mit neuronalen Netzen" http://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf Unter "2. Das Modell" steht: Das LSTM berechnet diese bedingte Wahrscheinlichkeit, indem es zuerst die feste dimensionale Darstellung...
Nehmen wir für eine Aufgabe zur Stimmungsanalyse an, wir haben einige Klassen, die durch und Merkmale .cccichichi Wir können die bedingte Wahrscheinlichkeit jeder Klasse wie : wobei jedes Merkmal darstellt und die Klasse ist wir haben. Dann können wir empirisch Unsere Prioritäten für jede Klasse...
Ich habe einen Datensatz mit Textfragmenten mit einer festen Struktur, die Parameter enthalten kann. Beispiele sind: Temperature today is 20 centigrades Temperature today is 28 centigrades oder Her eyes are blue and hair black. Her eyes are green and hair brown. Das erste Beispiel zeigt eine...
Ich habe eine Datenbank mit ungefähr 200 Dokumenten, deren Ngramme ich extrahiert habe. Ich möchte das Dokument in meiner Datenbank finden, das einem Abfragedokument am ähnlichsten ist. Mit anderen Worten, ich möchte das Dokument in der Datenbank finden, die die meisten ngramme mit dem...
Ich bin ein Neuling, wenn es um maschinelles Lernen geht. Ich versuche, praktische Erfahrungen zu sammeln, indem ich verschiedene überwachte Lernalgorithmen mithilfe der Scikit-Learn-Bibliothek von Python analysiere. Ich verwende den sentiment140-Datensatz von 1,6 Millionen Tweets für die...
Gibt es unter Berücksichtigung möglicher Rechenbeschränkungen allgemeine Anwendungen, bei denen die Lemmatisierung ein kontraproduktiver Schritt bei der Analyse von Textdaten wäre? Wäre Lemmatisierung beispielsweise etwas, das beim Erstellen eines kontextsensitiven Modells nicht durchgeführt wird?...
Ich arbeite derzeit mit einem Datensatz mit einer Vielzahl von Dokumentlängen - von einem einzelnen Wort bis zu einer ganzen Textseite. Darüber hinaus variieren die grammatikalische Struktur und die Verwendung von Interpunktion von Dokument zu Dokument erheblich. Ziel ist es, diese Dokumente in...
Ich möchte einen Stimmungskorpus für Nachrichtenartikel in mehreren Sprachen (~ 100.000 pro Sprache für ein Experiment zum maschinellen Lernen) zusammenstellen, in dem jeder Artikel als positiv, neutral oder negativ gekennzeichnet ist. Ich habe hoch und niedrig gesucht, konnte aber so etwas nicht...
Ich beabsichtige, eine Reihe von Stellenbeschreibungstexten zu kennzeichnen. Ich habe die Standard-Tokenisierung mit Leerzeichen als Trennzeichen versucht. Ich habe jedoch festgestellt, dass es einige Mehrwortausdrücke gibt, die durch Leerzeichen geteilt werden, was bei der nachfolgenden...
Ich habe über beide Techniken gelesen, um die Wurzel des Wortes zu finden, aber wie ziehen wir eine der anderen vor? Ist "Lemmatisierung" immer besser als