Konkret suche ich Referenzen (Papiere, Bücher), die den Fluch der Dimensionalität konsequent aufzeigen und erklären. Diese Frage stellte sich, nachdem ich dieses Whitepaper von Lafferty und Wasserman gelesen hatte . Im dritten Absatz erwähnen sie eine "bekannte" Gleichung, die impliziert, dass die...
Was bedeutet es zu sagen, dass "die Varianz ein verzerrter Schätzer ist"? Was bedeutet es, eine voreingenommene Schätzung durch eine einfache Formel in eine unvoreingenommene Schätzung umzuwandeln? Was genau macht diese Konvertierung? Was ist der praktische Nutzen dieser Konvertierung?...
Ich habe mich gefragt, ob es möglich ist, einen sehr starken Korrelationskoeffizienten (z. B. 0,9 oder höher) mit einem hohen p-Wert (z. B. 0,25 oder höher) zu haben. Hier ist ein Beispiel für einen niedrigen Korrelationskoeffizienten mit einem hohen p-Wert: set.seed(10) y <- rnorm(100) x <-...
Ich werde Wikipedia erklären lassen, wie NPS berechnet wird: Der Net Promoter Score wird erhalten, indem Kunden auf einer Bewertungsskala von 0 bis 10 eine einzelne Frage gestellt werden, wobei 10 "äußerst wahrscheinlich" und 0 "überhaupt nicht wahrscheinlich" ist: "Wie wahrscheinlich ist es, dass...
Ich hatte immer den Eindruck, dass die Regression nur eine allgemeinere Form der ANOVA ist und die Ergebnisse identisch wären. In letzter Zeit habe ich jedoch sowohl eine Regression als auch eine ANOVA mit denselben Daten durchgeführt, und die Ergebnisse unterscheiden sich erheblich. Das heißt, im...
Ich habe eine Menge versteckter Markov-Modelle gelesen und konnte selbst eine ziemlich einfache Version davon programmieren. Aber es gibt zwei Möglichkeiten, die ich zu lernen scheine. Zum einen muss es gelesen und in Code implementiert werden (was getan wird), und zum anderen muss verstanden...
Wenn wir mit der Markov-Kette Monte Carlo arbeiten, um Rückschlüsse zu ziehen, brauchen wir eine Kette, die sich schnell mischt, dh die Unterstützung der hinteren Verteilung schnell durchwandert. Aber ich verstehe nicht, warum wir diese Eigenschaft brauchen, denn nach meinem Verständnis sollten und...
Eine Einschränkung der Standardalgorithmen für neuronale Netze (wie Backprop) besteht darin, dass Sie eine Entwurfsentscheidung treffen müssen, wie viele verborgene Schichten und Neuronen pro Schicht Sie möchten. In der Regel ist die Lernrate und Verallgemeinerung sehr empfindlich auf diese...
Es gibt viele Situationen, in denen Sie möglicherweise mehrere verschiedene Klassifizierer trainieren oder verschiedene Methoden zum Extrahieren von Features verwenden. In der Literatur geben Autoren häufig den mittleren Klassifizierungsfehler über eine Reihe von zufälligen Teilungen der Daten an...
Über die Funktionale Hauptkomponentenanalyse (FPCA) bin ich gestolpert und habe sie nie verstanden. Worum geht es? Siehe "Eine Übersicht über die Analyse der funktionalen Hauptkomponenten" von Shang, 2011 , und ich zitiere: PCA stößt bei der Analyse von Funktionsdaten aufgrund des "Fluches der...
Ich bin gerade (vage) mit Brownian / Distanz-Kovarianz / Korrelation bekannt geworden . Es scheint in vielen nichtlinearen Situationen besonders nützlich zu sein, wenn auf Abhängigkeit getestet wird. Es scheint jedoch nicht sehr häufig verwendet zu werden, obwohl Kovarianz / Korrelation häufig für...
SPSS verwendet den Levene-Test, um die Homogenität der Varianzen im unabhängigen Gruppen-T-Testverfahren zu bewerten. Warum ist der Levene-Test besser als ein einfaches F-Verhältnis des Verhältnisses der Varianzen der beiden
Ist es möglich, dass zwei Zufallsvariablen die gleiche Verteilung haben und sich dennoch mit ziemlicher Sicherheit
Ich habe mich gefragt, ob jemand einen Einblick oder eine Intuition hinter dem Unterschied zwischen der Variation of Information und dem Rand-Index zum Vergleichen von Clusterings hat. Ich habe den Artikel " Clustering - An Information Based Distance " von Marina Melia (Journal of Multivariate...
Ich lese John Kruschkes Folien "Doing Bayesian Data Analysis" , habe aber tatsächlich eine Frage zu seiner Interpretation von t-Tests und / oder dem gesamten Nullhypothesen-Signifikanztest-Framework. Er argumentiert, dass p-Werte schlecht definiert sind, weil sie von den Absichten des Untersuchers...
In ihrem Lehrbuch, Graphical Models, Exponential Families and Variational Inference , diskutieren M. Jordan und M. Wainwright die Verbindung zwischen Exponential Families und Markov Random Fields (ungerichtete graphische Modelle). Ich versuche, die Beziehung zwischen ihnen mit den folgenden Fragen...
Angenommen, Sie analysieren einen riesigen Datensatz mit Milliarden von Beobachtungen pro Tag, wobei jede Beobachtung einige Tausend spärliche und möglicherweise redundante numerische und kategoriale Variablen enthält. Angenommen, es gibt ein Regressionsproblem, ein Problem der unausgeglichenen...
Ich finde es oft so, dass ich mit caretR mehrere verschiedene Vorhersagemodelle trainiere. Ich trainiere sie alle auf den gleichen Kreuzvalidierungsfalten mit caret::: createFoldsund wähle dann das beste Modell basierend auf kreuzvalidierten Fehlern. Die Medianvorhersage mehrerer Modelle...
Ich bin auf ein Szenario gestoßen, in dem ich 10 Signale / Person für 10 Personen (also 100 Samples) mit 14000 Datenpunkten (Dimensionen) habe, die ich an einen Klassifikator übergeben muss. Ich möchte die Dimensionalität dieser Daten reduzieren, und PCA scheint der richtige Weg zu sein. Ich konnte...
Ich habe kürzlich begonnen, Regressionsmischmodelle im Bayes'schen Rahmen unter Verwendung eines MCMC-Algorithmus (Funktion MCMCglmm in R) anzupassen. Ich glaube, ich habe verstanden, wie man die Konvergenz des Schätzprozesses diagnostiziert (Kurve, Geweke-Plot, Autokorrelation, posteriore...