Ich versuche, eine Big-Data-Infrastruktur unter anderem mit Hadoop, Hive und Elastic Search einzurichten, und möchte einige Algorithmen für bestimmte Datensätze ausführen. Ich möchte, dass die Algorithmen selbst skalierbar sind, daher ist die Verwendung von Tools wie Weka, R oder sogar RHadoop...
Ich versuche, einen Datensatz auf mehreren Protokolldateien eines unserer Produkte zu erstellen. Die verschiedenen Protokolldateien haben ein eigenes Layout und einen eigenen Inhalt. Ich habe sie erfolgreich gruppiert, nur noch ein Schritt ... In der Tat sind die Protokoll "Nachrichten" die besten...
Ich habe einen Textkorpus mit entsprechenden Themen. Zum Beispiel "A rapper Tupac was shot in LA"und es wurde als bezeichnet ["celebrity", "murder"]. Grundsätzlich kann jeder Merkmalsvektor viele Beschriftungen haben (nicht die gleiche Menge. Der erste Merkmalsvektor kann 3 Beschriftungen haben,...
Ich versuche, einen für die Kosinuslokalität sensiblen Hash zu erstellen, damit ich ähnliche Elementpaare finden kann, ohne jedes mögliche Paar vergleichen zu müssen. Ich habe es im Grunde funktioniert, aber die meisten Paare in meinen Daten scheinen Cosinus-Ähnlichkeit im Bereich von -0,2 bis +0,2...
Unser Datensatz in dieser Woche hat also 14 Attribute und jede Spalte hat sehr unterschiedliche Werte. Eine Spalte hat Werte unter 1, während eine andere Spalte Werte zwischen drei und vier ganzen Ziffern hat. Wir haben letzte Woche die Normalisierung gelernt und es scheint, als sollten Sie Daten...
Ich versuche, Web Scraping mit Python selbst zu lernen, um die Datenanalyse zu erlernen. Ich versuche, die imdb-Webseite zu durchsuchen, deren URL wie folgt lautet: http://www.imdb.com/search/title?sort=num_votes,desc&start=1&title_type=feature&year=1950,2012 Ich benutze das...
Ich habe einen großen Datensatz, den ich nach bestimmten Parametern in Gruppen aufteilen muss. Ich möchte, dass der Job so effizient wie möglich bearbeitet wird. Ich kann mir zwei Möglichkeiten vorstellen, dies zu tun Option 1 - Karte aus Original-RDD erstellen und filtern def customMapper(record):...
Geschlossen . Diese Frage muss fokussierter sein . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so, dass sie sich nur auf ein Problem konzentriert, indem Sie diesen Beitrag bearbeiten . Geschlossen vor 2 Jahren . Ist das Semantic Web...
Ich versuche, ein künstliches neuronales Netzwerk mit zwei Faltungsschichten (c1, c2) und zwei verborgenen Schichten (c1, c2) zu trainieren. Ich verwende den Standard-Backpropagation-Ansatz. Im Rückwärtsdurchlauf berechne ich den Fehlerterm einer Schicht (Delta) basierend auf dem Fehler der...
Ich habe einen großen Datensatz mit 9 Millionen JSON-Objekten mit jeweils ~ 300 Bytes. Dies sind Beiträge eines Link-Aggregators: Links (URL, Titel und Autoren-ID) und Kommentare (Text und Autoren-ID) + Metadaten. Es kann sich durchaus um relationale Datensätze in einer Tabelle handeln, mit...
Ich suche eine Website oder ein Buch, auf der Schritt für Schritt einige praktische Beispiele gegeben werden, in denen erklärt wird, wie sie die relevanten Funktionen, das Modellauswahlverfahren usw.
In vielen neuronalen Netzwerkpaketen scheint es Standard zu sein, die zu minimierende Zielfunktion mit der Aktivierungsfunktion in der Ausgabeschicht zu koppeln. Zum Beispiel ist es für eine lineare Ausgabeschicht, die für die Regression verwendet wird, Standard (und oft nur die Wahl), eine...
Ich habe bereits eine funktionierende -Implementierung für einen einzelnen Agenten, der an einem dynamischen Preisproblem mit dem Ziel der Maximierung des Umsatzes arbeitet. Das Problem, mit dem ich arbeite, betrifft jedoch mehrere verschiedene Produkte, die sich gegenseitig ersetzen. Daher scheint...
Ich möchte den Unterschied zwischen demselben Wort vergleichen, das in verschiedenen Quellen erwähnt wird. Das heißt, wie sich Autoren in der Verwendung von schlecht definierten Wörtern wie "Demokratie" unterscheiden. Ein kurzer Plan war Nehmen Sie die Bücher, in denen der Begriff "Demokratie" als...
Ich habe ein beeindruckendes Ergebnis von LSTM-Modellen gesehen, die Shakespeare-ähnliche Texte produzieren. Ich habe mich gefragt, ob ein LSTM-Paket für R existiert. Ich habe danach gegoogelt, aber nur Pakete für Python und Julia gefunden. (Möglicherweise gibt es ein Leistungsproblem, das erklärt,...
Ich verstehe, wie ein Hidden-Markov-Modell in genomischen Sequenzen verwendet wird, beispielsweise beim Auffinden eines Gens. Aber ich verstehe nicht, wie ich ein bestimmtes Markov-Modell entwickeln soll. Ich meine, wie viele Staaten sollte das Modell haben? Wie viele mögliche Übergänge? Sollte das...
Haben Sie Korpus von über Millionen Dokumenten Für ein bestimmtes Dokument möchten Sie ähnliche Dokumente mit Cosinus wie im Vektorraummodell finden d1⋅d2/(||d1||||d2||)d1⋅d2/(||d1||||d2||)d_1 \cdot d_2 / ( ||d_1|| ||d_2|| ) Alle tf wurden mit erhöhter Frequenz normalisiert, um eine Tendenz zu...
Ich habe gerade Geoff Hintons Artikel über die Transformation von Autoencodern gelesen Hinton, Krizhevsky und Wang: Auto-Encoder transformieren . In Künstlichen Neuronalen Netzen und Maschinellem Lernen, 2011. und würde gerne mit so etwas herumspielen. Aber nachdem ich es gelesen hatte, konnte ich...
Ich möchte ein System entwerfen, das einen bestimmten Textabschnitt kategorisieren und den Kontext identifizieren kann: Wird mit benutzergenerierten Textabschnitten (wie Kommentaren / Fragen / Antworten) geschult. Jeder Gegenstand im Trainingssatz wird mit markiert. Also zum Beispiel ("Kategorie...
Es ist sehr häufig, dass wir Benutzerproduktdaten haben, die als "Klick" gekennzeichnet sind. Um das Modell zu lernen, benötige ich Klick- und No-Click-Daten. Der einfachste Ansatz zum Generieren besteht darin, Benutzer-Produkt-Paare zu verwenden, die nicht in Klickdaten enthalten sind. Dies kann...