Statistiken und Big Data

Ich habe vorhandene Antworten auf CrossValidated (und an anderer Stelle online) gelesen und kann nicht finden, wonach ich suche. Bitte verweise mich jedoch auf vorhandene Quellen, wenn ich sie verpasst habe. Angenommen, ich habe einen Datensatz mit N = 1000 Datensätzen, von denen jeder manuell...

( 0 , 1 ) φ ( x ) = 1 / x E [ 1X.XX ist eine diskrete Zufallsvariable, die Werte von annehmen kann . Da eine konvexe Funktion ist, können wir Jensens Ungleichung verwenden, um eine Untergrenze abzuleiten : Ist es möglich, eine Obergrenze abzuleiten ?( 0 , 1 )(0,1)(0,1)φ ( x ) = 1 /...

Ich verstehe, wo der E-Schritt im Algorithmus stattfindet (wie im Abschnitt "Mathematik" unten erläutert). Meiner Meinung nach ist der Schlüsseleinfallsreichtum des Algorithmus die Verwendung der Jensen-Ungleichung, um eine Untergrenze für die Log-Wahrscheinlichkeit zu erstellen. In diesem Sinne...

Ich möchte ein lineares Modell von R anpassen family=binomial(link="identity"), wobei jedoch die Binomialfamilie keine Identitätsverknüpfung hat. Was sollte ich

Ich bin gespannt, wie das lmerTest-Paket in R, insbesondere die "rand" -Funktion, Tests mit zufälligen Effekten verarbeitet. Betrachten Sie das Beispiel aus dem lmerTest-PDF auf CRAN, das den integrierten Datensatz "Karotten" verwendet: #import lme4 package and lmerTest package library(lmerTest)...

Ich habe eine Stichprobe aus einer diskreten Verteilung als solche: Type: 0 1 2 3 4 5 Occurrences: 88 12 52 43 21 5 Meine Aufgabe ist es zu testen, ob eine Binomialverteilung (n = 5, p) zu diesen Daten passt oder nicht. Ich verstehe, dass ich Hypothesentests verwenden soll und dass der...

Ich schreibe ein Programm zur Bewertung von Immobilien und verstehe die Unterschiede zwischen einigen robusten Regressionsmodellen nicht wirklich. Deshalb weiß ich nicht, welches ich wählen soll. Ich habe versucht lmrob, ltsRegund rlm. Für denselben Datensatz ergaben alle drei Methoden...

Eine Annahme für die Regressionsanalyse ist, dass und nicht miteinander verflochten sind. Wenn ich jedoch darüber nachdenke, scheint es mir, dass es Sinn macht.Y.X.XXY.YY Hier ist ein Beispiel. Wenn wir einen Test mit 3 Abschnitten haben (AB und C). Die Gesamtbewertung der Tests entspricht der...

Ich versuche zu replizieren, was die Funktion dfbetas()in R tut . dfbeta() ist kein Problem ... Hier ist eine Reihe von Vektoren: x <- c(0.512, 0.166, -0.142, -0.614, 12.72) y <- c(0.545, -0.02, -0.137, -0.751, 1.344) Wenn ich zwei Regressionsmodelle wie folgt anpasse: fit1 <- lm(y ~...

Ich spiele also mit der Idee, einen Algorithmus zu schreiben, der einen Regressionsbaum aus den Daten vergrößert und abschneidet und dann in den Endknoten des Baums einen GLM anpasst. Ich habe versucht, mich über die Idee zu informieren, aber ich kann anscheinend keinen einheitlichen Namen für die...

Ich benutze derzeit ein frühes Anhalten in meiner Arbeit, um eine Überanpassung zu verhindern. Speziell diejenigen, die aus dem frühen Stoppen stammen, aber wann? . Ich möchte jetzt mit anderen Klassifizierungsalgorithmen vergleichen, bei denen es den Anschein hat, dass eine 10-fache...

Ich habe ein großes Problem mit einem konzeptionellen Problem, das ich mir ausgedacht habe. Angenommen, ein Unternehmen hat eine stark verzerrte Verteilung . Etwas Ähnliches wie ein Exponential oder Lognormal nur extremer. Stellen Sie sich nun vor, die Verteilung sei so verzerrt, dass der...

Ich habe mich gefragt, ob es eine Untergruppe von Themen der frequentistischen Statistik gibt, die man kennen sollte, bevor man anfängt, Bayes'sche Statistik zu lernen. Sobald ich gelesen habe, dass es scheint, dass die beiden Trends einander entgegenwirken; Wie zum Beispiel basiert die...

Alle Verteilungen in einem begrenzten Intervall erfüllen:[0,1][0,1][0,1] σ2≤μ(1−μ)σ2≤μ(1−μ)\sigma^2 \le \mu (1-\mu) Dabei ist der Mittelwert und die Varianz.μμ\muσ2σ2\sigma^2 Nehmen wir nun an, dass die Verteilung unimodal ist, in dem Sinne, dass sie höchstens ein lokales Maximum hat. Was ist der...

Um ehrlich zu sein, habe ich viele Websites und Antworten zu dieser Frage gelesen und keine hat sie in einfachen Worten erklärt, die verständlich sind. Ich möchte verstehen, was ein zufälliger Spaziergang bewirkt und wie er für die Gen-Set-Anreicherungsanalyse verwendet werden kann. Es gibt hier...

Ich habe eine Frage zur Modellierung von Zeitreihen in R. Meine Daten bestehen aus der folgenden Matrix: 1 0.03333333 0.01111111 0.9555556 2 0.03810624 0.02309469 0.9387991 3 0.00000000 0.03846154 0.9615385 4 0.03776683 0.03119869 0.9310345 5 0.06606607 0.01201201 0.9219219 6 0.03900325 0.02058505...

Wikipedia berichtet, dass nach der Freedman- und Diaconis-Regel die optimale Anzahl von Behältern in einem Histogramm wachsen solltekkk k ∼ n1 / 3k∼n1/3k\sim n^{1/3} Dabei ist die Stichprobengröße.nnn Wenn Sie sich jedoch die nclass.FDFunktion in R ansehen , die diese Regel implementiert, zumindest...

Für eine glockenförmige Normalverteilungskurve hätte man gedacht, dass die Höhe einen idealen Wert haben sollte. Die Kenntnis dieses Wertes kann ein schneller Indikator sein, um zu überprüfen, ob die Daten normal verteilt sind. Ich konnte jedoch seinen formalen Wert nicht finden. An den meisten...

Kürzlich hat ein Projekt, an dem ich beteiligt bin, ein lineares Perzeptron für die multiple (21 Prädiktor-) Regression verwendet. Es wurde stochastische GD verwendet. Wie unterscheidet sich dies von der linearen

Dies ist eine direkte Fortsetzung meiner jüngsten Frage . ich eigentlich bekommen möchte, ist die Verteilung von , wobei in einheitlich sind . Nun wurde die Verteilung von im erwähnten Thread erfolgreich berechnet , und nennen wir es . Die Verteilung von ist einfach . Der letzte Schritt wäre, die...