Ich arbeite mit vielen Algorithmen: RandomForest, DecisionTrees, NaiveBayes, SVM (Kernel = linear und rbf), KNN, LDA und XGBoost. Alle bis auf SVM waren ziemlich schnell. Dann wurde mir klar, dass die Feature-Skalierung erforderlich ist, um schneller arbeiten zu können. Dann begann ich mich zu...
In einem kleinen Textklassifizierungsproblem, das ich mir angesehen habe, hat Naive Bayes eine Leistung gezeigt, die einer SVM ähnelt oder größer ist, und ich war sehr verwirrt. Ich habe mich gefragt, welche Faktoren den Triumph eines Algorithmus über den anderen entscheiden. Gibt es Situationen,...
Ich bin neu im maschinellen Lernen. Im Moment benutze ich einen Naive Bayes (NB) Klassifikator, um kleine Texte in 3 Klassen mit NLTK und Python als positiv, negativ oder neutral zu klassifizieren. Nach einigen Tests mit einem Datensatz von 300.000 Instanzen (16.924 positive, 7.477 negative und...
Ich studiere dieses Tutorial über Variations-Autoencoder von Carl Doersch . Auf der zweiten Seite heißt es: Eines der beliebtesten Frameworks dieser Art ist der Variational Autoencoder [1, 3], der Gegenstand dieses Tutorials ist. Die Annahmen dieses Modells sind schwach und das Training erfolgt...
Nach allem, was ich gesehen habe, ist die Kneser-Ney-Glättungsformel (zweiter Ordnung) auf die eine oder andere Weise gegeben als P2KN(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn)PKN2(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn) \begin{align} P^2_{KN}(w_n|w_{n-1}) &=...
Ich denke, eine gute Möglichkeit, sich an die Formel zu erinnern, besteht darin, sich die Formel folgendermaßen vorzustellen: Die Wahrscheinlichkeit, dass ein Ereignis A ein bestimmtes Ergebnis hat, wenn das Ergebnis eines unabhängigen Ereignisses B gegeben ist = die Wahrscheinlichkeit, dass beide...
In der (unbeaufsichtigten) Textmodellierung ist Latent Dirichlet Allocation (LDA) eine Bayes-Version der probabilistischen latenten semantischen Analyse (PLSA). Im Wesentlichen hat LDA = PLSA + Dirichlet Vorrang vor seinen Parametern. Nach meinem Verständnis ist LDA jetzt der Referenzalgorithmus...
Ich habe an vielen Stellen (z. B. hier und hier ) über den Log-Sum-Exp-Trick gelesen , aber noch nie ein Beispiel dafür gesehen, wie er speziell auf den Naive Bayes-Klassifikator angewendet wird (z. B. mit diskreten Merkmalen und zwei Klassen). Wie genau würde man mit diesem Trick das Problem des...
Nach meinem (sehr grundlegenden) Verständnis schätzt Naive Bayes die Wahrscheinlichkeiten basierend auf den Klassenhäufigkeiten der einzelnen Merkmale in den Trainingsdaten. Aber wie berechnet es die Häufigkeit kontinuierlicher Variablen? Und wie klassifiziert es bei der Vorhersage eine neue...
Ich muss mich mit einem Textklassifizierungsproblem befassen. Ein Webcrawler durchsucht Webseiten einer bestimmten Domain und ich möchte für jede Webseite herausfinden, ob sie nur zu einer bestimmten Klasse gehört oder nicht. Das heißt, wenn ich diese Klasse Positiv nenne , gehört jede gecrawlte...
Gibt es eine Möglichkeit, eine Gaußsche Prozessregression für mehrdimensionale Ausgaben (möglicherweise korreliert) mithilfe von GPML durchzuführen ? Im Demo-Skript konnte ich nur ein 1D-Beispiel finden. Eine ähnliche Frage zum Lebenslauf, die sich mit mehrdimensionalen Eingaben befasst. Ich ging...
Zum Beispiel hören wir in einem generativen kontradiktorischen Netzwerk oft, dass Inferenz einfach ist, weil die bedingte Verteilung von x bei gegebener latenter Variable z 'traktierbar' ist. Außerdem habe ich irgendwo gelesen, dass eine Boltzmann-Maschine und ein Variations-Autoencoder verwendet...
Ich verstehe nicht, wie diese Gleichung abgeleitet wurde. P(I|M1∩M2)≤P(I)P(I′)⋅P(M1|I)P(M2|I)P(M1|I′)P(M2|I′)P(I|M1∩M2)≤P(I)P(I′)⋅P(M1|I)P(M2|I)P(M1|ich′)P(M2|ich′)P(I|M_{1}\cap M_{2}) \leq \frac{P(I)}{P(I')}\cdot \frac{P(M_{1}|I)P(M_{2}|I)}{P(M_{1}|I')P(M_{2}|I')} Diese Gleichung stammt aus der...
Der Naive Bayes-Klassifikator ist der Klassifikator, der Elemente einer Klasse auf der Grundlage der Maximierung des hinteren für die Klassenzugehörigkeit zuordnet und davon ausgeht, dass die Merkmale der Elemente unabhängig sind.C P ( C | x )xxxCCCP( C| x)P(C|x)P(C|x) Der 0-1-Verlust ist der...
Ich lese über Bayes'sche Folgerungen und bin auf den Satz "Numerische Integration der Grenzwahrscheinlichkeit ist zu teuer" gestoßen. Ich habe keinen mathematischen Hintergrund und habe mich gefragt, was genau hier teuer bedeutet. Ist es nur in Bezug auf Rechenleistung oder gibt es etwas mehr....
Ich erstelle einen Prototyp meines eigenen Naive Bayes-Modells und hatte eine Frage zur Berechnung der Merkmalswahrscheinlichkeiten. Nehmen wir an, ich habe zwei Klassen, ich verwende nur Spam und nicht Spam, da dies von allen verwendet wird. Nehmen wir als Beispiel das Wort "viagra". Ich habe 10...
Würden Sie das HBM vs EB als zwei Alternativen betrachten, bei denen die Hyperparameter "im Spiel" sind, abgetastet / geschätzt / etc. Zu werden? Es besteht eindeutig ein Zusammenhang zwischen diesen beiden. Würden Sie HBM als "voll Bayesianer" betrachten als EB? Gibt es einen Ort, an dem ich sehen...
Welche Beziehung besteht zwischen der linearen Diskriminanzanalyse und der Bayes-Regel? Ich verstehe, dass LDA bei der Klassifizierung verwendet wird, indem versucht wird, das Verhältnis zwischen Gruppenvarianz und Gruppenvarianz zu minimieren, aber ich weiß nicht, wie Bayes-Regeln darin verwendet...
Ich habe kürzlich etwas über empirische Bayes gelesen (Casella, 1985, Eine Einführung in die empirische Bayes-Datenanalyse) und es sah einem Zufallseffektmodell sehr ähnlich. dass beide Schätzungen auf den globalen Mittelwert geschrumpft sind. Aber ich habe es nicht durchgelesen ... Hat jemand...
Nach meinem (sehr bescheidenen) Verständnis der Variationsinferenz versucht man, eine unbekannte Verteilung zu approximieren, pppindem man eine Verteilung qqq , die Folgendes optimiert: KL(p||q)=∑xp(x)logp(x)q(x)KL(p||q)=∑xp(x)logp(x)q(x)KL (p||q) = \sum\limits_{x} p(x)log \frac {p(x)}{q(x)} Immer...