Wenn p(x)p(x)p(x) eine Wahrscheinlichkeitsverteilung mit Nicht-Null-Werten für [0,+∞)[0,+∞)[0,+\infty) , für welche Art (en) von p(x)p(x)p(x) gibt es eine Konstante c>0c>0c\gt 0 so dass ∫∞0p(x)logp(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2∫0∞p(x)logp(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2\int_0^{\infty}p(x)\log{\frac{...
Ich habe an einigen Stellen die Verwendung der Radon-Nikodym-Ableitung eines Wahrscheinlichkeitsmaßes in Bezug auf ein anderes gesehen, insbesondere in der Kullback-Leibler-Divergenz, wo es die Ableitung des Wahrscheinlichkeitsmaßes eines Modells für einen beliebigen Parameter mit ist bezüglich des...
Das mgcvPaket für Rhat zwei Funktionen zum Anpassen von Tensorproduktwechselwirkungen: te()und ti(). Ich verstehe die grundlegende Arbeitsteilung zwischen den beiden (Anpassen einer nichtlinearen Wechselwirkung vs. Zerlegen dieser Wechselwirkung in Haupteffekte und eine Wechselwirkung). Was ich...
Ich führe eine schnelle Simulation durch, um verschiedene Clustering-Methoden zu vergleichen, und stoße derzeit auf einen Haken beim Versuch, die Cluster-Lösungen zu bewerten. Ich kenne verschiedene Validierungsmetriken (viele finden sich in cluster.stats () in R), aber ich gehe davon aus, dass...
Ich habe eine VAE implementiert und zwei verschiedene Online-Implementierungen der vereinfachten univariaten Gaußschen KL-Divergenz festgestellt. Die ursprüngliche Abweichung gemäß hier ist Wenn wir annehmen, dass unser Prior eine Einheit Gauß'sche ist, dh und , vereinfacht sich dies bis...
Bei meiner Forschung bin ich auf das folgende allgemeine Problem gestoßen: Ich habe zwei Verteilungen und über dieselbe Domäne und eine große (aber endliche) Anzahl von Stichproben aus diesen Verteilungen. Die Proben sind unabhängig und identisch von einer dieser beiden Verteilungen verteilt...
Ich habe versucht, eine numerische Schätzung der Kullback-Leibler-Divergenz für zwei Stichproben zu implementieren. Um die Implementierung zu debuggen, ziehen Sie die Stichproben aus zwei Normalverteilungen und N ( 1 , 2 ) .N.( 0 , 1 )N(0,1)\mathcal N (0,1)N.( 1 , 2 )N(1,2)\mathcal N (1,2) Für eine...
Dies ist nur ein Beispiel, auf das ich mehrmals gestoßen bin, daher habe ich keine Beispieldaten. Ausführen eines linearen Regressionsmodells in R: a.lm = lm(Y ~ x1 + x2) x1ist eine stetige Variable. x2ist kategorisch und hat drei Werte, z. B. "Niedrig", "Mittel" und "Hoch". Die von R gegebene...
Ich habe drei Datensätze X, Y und Z. Jeder Datensatz definiert die Häufigkeit eines Ereignisses. Zum Beispiel: Datensatz X: E1: 4, E2: 0, E3: 10, E4: 5, E5: 0, E6: 0 usw. Datensatz Y: E1: 2, E2: 3, E3: 7, E4: 6, E5: 0, E6: 0 und so weiter. Datensatz Z: E1: 0, E2: 4, E3: 8, E4: 4, E5: 1, E6: 0...
Betrachten Sie die Bayes - posterior θ∣Xθ∣X\theta\mid X . Asymptotisch tritt ihr Maximum bei der Schätzung MLE θ , der nur die Wahrscheinlichkeit maximiert argmin θθ^θ^\hat \thetaargminθfθ(X)argminθfθ(X)\operatorname{argmin}_\theta\, f_\theta(X) . Alle diese Konzepte - Bayesianische Prioritäten,...
Ich möchte die KL-Divergenz zwischen zwei kontinuierlichen Verteilungen f und g abschätzen. Ich kann jedoch weder für f noch für g die Dichte aufschreiben. Ich kann sowohl von f als auch von g über eine Methode (zum Beispiel Markov Chain Monte Carlo) probieren. Die KL-Divergenz von f nach g ist wie...
Ich habe die folgenden Zeitreihen erhalten mit den unten angegebenen Daten. Für eine Schiebefenstergröße von 10 versuche ich, die KL-Divergenz zwischen der PMF von Werten innerhalb des aktuellen Schiebefensters und der PMF der Historie zu berechnen, mit dem Endziel, den Wert der KL-Divergenz...
Ich versuche die Erklärung der KL-Divergenz unten zu verstehen. Es bezieht sich, wie ich es verstehe, auf eine Erwartung im zweiten Semester. "Annäherung der Erwartung über q in diesem Term". Wir multiplizieren jedoch q (x) mit dem Protokoll von p (x) (und nicht mit p (x). Ist es immer noch...
Der Populationsstabilitätsindex quantifiziert die Änderung einer Verteilung einer Variablen durch Vergleichen von Datenstichproben in zwei Zeiträumen. Es wird sehr häufig verwendet, um Verschiebungen in Punktzahlen zu messen. Es wird wie folgt berechnet: 1) Die Probe aus der Basisperiode wird...
Ich verstehe, wo der E-Schritt im Algorithmus stattfindet (wie im Abschnitt "Mathematik" unten erläutert). Meiner Meinung nach ist der Schlüsseleinfallsreichtum des Algorithmus die Verwendung der Jensen-Ungleichung, um eine Untergrenze für die Log-Wahrscheinlichkeit zu erstellen. In diesem Sinne...
Angenommen, Sie haben eine diskrete Zufallsvariable XXX mit Wahrscheinlichkeitsmassenfunktion p(x)=P(X=x)p(x)=P(X=x)p(x) = P(X=x) auf die Unterstützung 0,…,n0,…,n0,\ldots,n. Welche Funktionq(x)≥0q(x)≥0q(x)\ge 0 so dass ∑nx=0q(x)=1∑x=0nq(x)=1\sum_{x=0}^n q(x) = 1 maximiert...