Ng, AY und Jordan, MI (2001). Über diskriminative vs. generative Klassifikatoren: Ein Vergleich von logistischer Regression und naiven Bayes . Fortschritte in neuronalen Informationsverarbeitungssystemen, 14 , S. 841-8, MIT Press. In der obigen Arbeit erwähnten die Autoren "asymptotischen...
In dem Buch "Die Elemente des statistischen Lernens" in Kapitel 2 ("Lineare Modelle und kleinste Quadrate; Seite Nr. 12") steht das geschrieben Im (p + 1) -dimensionalen Eingabe-Ausgabe-Raum repräsentiert (X, Y) eine Hyperebene. Wenn die Konstante in X enthalten ist, enthält die Hyperebene den...
https://www.tensorflow.org/ Alle Projekte auf TensorFlow, die ich in GitHub gesehen habe, implementieren eine Art neuronales Netzwerkmodell. Angesichts der Tatsache, dass TensorFlow eine Verbesserung gegenüber der DAG darstellt (es ist nicht mehr azyklisch), habe ich mich gefragt, ob ein inhärenter...
Angenommen, ich füge eine 2D-Formmatrix (99, 13) als Eingabe in eine LSTM-Ebene ein. Ich habe n Dateien, wobei jede (99,13) Größenvektoren enthält. Ich habe beschlossen, 13 als Anzahl der Features und 99 als Zeitschritte zu betrachten. (Während der Implementierung mit Keras habe ich die LSTM-Ebene...
Statistisches Lernen und seine Ergebnisse sind derzeit in den Sozialwissenschaften allgegenwärtig. Vor ein paar Monaten sagte Guido Imbens: "LASSO ist der neue OLS". Ich habe ein wenig Maschinelles Lernen studiert und weiß, dass das Hauptziel die Vorhersage ist. Ich stimme auch Leo Breimans...
Ich habe in letzter Zeit die Theorie hinter ANNs studiert und wollte die "Magie" hinter ihrer Fähigkeit zur nichtlinearen Klassifizierung mehrerer Klassen verstehen. Dies führte mich zu dieser Website, auf der geometrisch gut erklärt wird, wie diese Annäherung erreicht wird. So habe ich es...
Ich habe angefangen, über wiederkehrende neuronale Netze (RNNs) und Langzeit-Kurzzeitgedächtnis (LSTM) zu lesen ... (... oh, nicht genug Wiederholungspunkte hier, um Referenzen aufzulisten ...) Eine Sache verstehe ich nicht: Es scheint immer, dass Neuronen in jeder Instanz einer verborgenen...
Ich studiere zum ersten Mal über künstliche neuronale Netze (ANN) und bin beeindruckt, wie ähnlich die Konzepte neuronaler Netze der Modellierung von Strukturgleichungen (SEM) zu sein scheinen. Zum Beispiel, Eingabeknoten in ANN erinnern mich an Manifestvariablen in SEM Versteckte Knoten in ANN...
Sei f [x] eine Gaußsche Mischung pdf mit n Begriffen des einheitlichen Gewichts, bedeutet und entsprechenden Varianzen :{ σ 1 , . . . , σ n }{ μ1, . . . , μn}}{μ1,...,μn}\{\mu_{1},...,\mu_{n}\}{ σ1, . . . , σn}}{σ1,...,σn}\{\sigma_{1},...,\sigma_{n}\} f( x ) ≡ 1n∑i = 1n12 πσ2ich- -- -- -- -√e- ( x...
Sollte ich mein neuronales Netzwerk im Allgemeinen mit weniger Neuronen neu trainieren, damit es weniger tote ReLU-Neuronen hat? Ich habe widersprüchliche Meinungen über tote ReLUs gelesen. Einige Quellen sagen, dass tote ReLUs gut sind, weil sie die Sparsamkeit fördern. Andere sagen, dass sie...
Ich sammle eine Gruppe multivariater Zeitsequenzen. Zum Beispiel gibt es 2000 Zeitreihen. Jede Zeitreihe hat 12 Dimensionen. Gibt es systematische Modelle / Algorithmen, die multivariate Zeitreihen gruppieren können? Zum Beispiel möchte ich einige Zeitreihen identifizieren, die sich stark von...
Ich wollte ein Netzwerk mit Nichtlinearitäten trainieren, die unter dem Verschwinden leiden (oder dem explodierenden Gradientenproblem, obwohl es hauptsächlich verschwindet). Ich weiß, dass die (derzeitige) Standardmethode darin besteht, die Chargennormalisierung 1 [BN] 1 zu verwenden oder einfach...
Ich habe mich immer der Volksweisheit angeschlossen, dass das Verringern der Lernrate in einem GBM (Gradient Boosted Tree Model) die Out-of-Sample-Leistung des Modells nicht beeinträchtigt. Heute bin ich mir nicht so sicher. Ich passe Modelle (Minimierung der Summe der quadratischen Fehler) an den...
In SGD wäre eine Epoche die vollständige Darstellung der Trainingsdaten, und dann würde es N Gewichtsaktualisierungen pro Epoche geben (wenn der Trainingssatz N Datenbeispiele enthält). Wenn wir jetzt stattdessen Mini-Batches durchführen, beispielsweise in Batches von 20. Besteht eine Epoche jetzt...
Frage: Kennt jemand Lehrbücher, die (zum ersten Mal) maschinelles Lernen über den Hilbert-Space- Ansatz des reproduzierenden Kernels einführen ? Dh, die eine Funktionsanalyse als Voraussetzung voraussetzen, aber keine Vorkenntnisse des maschinellen Lernens voraussetzen? Alle Umfrageartikel wären...
Zum ersten Mal (entschuldigen Sie Ungenauigkeit / Fehler) habe ich mir Gaußsche Prozesse angesehen und mir dieses Video von Nando de Freitas genauer angesehen . Die Notizen sind hier online verfügbar . Irgendwann zieht er 101010 Zufallsstichproben aus einer multivariaten Normalen, die durch...
Aus Wikipedia: Bei der statistischen Modellierung ist die Regressionsanalyse ein statistischer Prozess zur Schätzung der Beziehungen zwischen Variablen. Es enthält viele Techniken zum Modellieren und Analysieren mehrerer Variablen, wenn der Schwerpunkt auf der Beziehung zwischen einer abhängigen...
Wir untersuchen häufig das Gaußsche Mischungsmodell als nützliches Modell für maschinelles Lernen und seine Anwendungen. Welche physikalische Bedeutung hat diese " Mischung "? Wird es verwendet, weil ein Gaußsches Mischungsmodell die Wahrscheinlichkeit einer Anzahl von Zufallsvariablen modelliert,...
Ich bin neu in der Konvertierung von Formeln in Matrixform. Dies ist jedoch für einen effizienten Code für maschinelles Lernen erforderlich. Also möchte ich den "richtigen" Weg verstehen, nicht das Cowboy-Zeug, das ich mache. Okay, jetzt geht es los. Ich versuche, die gewichtete Quadratsumme aus...
Ich habe irgendwo festgestellt, dass der Testsatz nicht als Validierungssatz verwendet werden darf. Warum? Der Validierungssatz wird angewendet, wenn die Modellparameter festgelegt sind und das Lernen nur durch Backprop auf dem Trainingsstapel erfolgt. Warum kann ich Testdaten nicht als...