Maximale Entropie oder Maximum ist ein statistisches Prinzip, das aus der Informationstheorie abgeleitet ist. Verteilungen, die die Entropie maximieren (unter bestimmten Einschränkungen), werden angesichts der Einschränkungen als "maximal uninformativ" angesehen. Die maximale Entropie kann für mehrere Zwecke verwendet werden, z. B. für die Wahl des Prior, die Wahl des Stichprobenmodells oder die Gestaltung von Experimenten.
Ich weiß, dass Entropie das Maß für die Zufälligkeit eines Prozesses / einer Variablen ist und wie folgt definiert werden kann. für eine Zufallsvariable Menge : - . In dem Buch über Entropie und Informationstheorie von MacKay gibt er diese Aussage in Kapitel 2 wiederX∈X∈X...
In dieser Arbeit argumentiert der talentierte Forscher Cosma Shalizi, dass man, um eine subjektive Bayes'sche Sichtweise vollständig zu akzeptieren, auch ein unphysisches Ergebnis akzeptieren muss, dass der Zeitpfeil (gegeben durch den Fluss der Entropie) tatsächlich rückwärts gehen sollte . Dies...
Ich habe das Prinzip der maximalen Entropie verwendet, um die Verwendung mehrerer Verteilungen in verschiedenen Umgebungen zu rechtfertigen. Ich muss jedoch noch eine statistische, im Gegensatz zur informationstheoretischen Interpretation der maximalen Entropie formulieren können. Mit anderen...
Ich habe Log-Normalverteilungen als frühere Verteilungen für Skalenparameter verwendet (für Normalverteilungen, t-Verteilungen usw.), wenn ich eine ungefähre Vorstellung davon habe, wie die Skala aussehen soll, mich aber irren möchte, wenn ich sage, dass ich es nicht weiß viel darüber. Ich benutze...
Für einen beliebigen kontinuierlichen Zufallsvariable, sagt XXX ist seine differentielle Entropie immer kleiner als ∞∞\infty ? (Es ist in Ordnung, wenn es −∞−∞-\infty .) Wenn nicht, was ist die notwendige und ausreichende Bedingung, damit es weniger als ∞∞\infty
Ich versuche, mich mit dem folgenden Beweis zu beschäftigen, dass der Gaußsche die maximale Entropie hat. Wie macht der markierte Schritt Sinn? Eine bestimmte Kovarianz korrigiert nur den zweiten Moment. Was passiert mit dem dritten, vierten, fünften Moment usw.?
Was ist die maximale Entropieverteilung ? für eine positive stetige Variable angesichts ihres ersten und zweiten Moments? Zum Beispiel ist eine Gaußsche Verteilung die maximale Entropieverteilung für eine unbegrenzte Variable aufgrund ihres Mittelwerts und ihrer Standardabweichung, und eine...
Sei px,ypx,yp_{x,y} eine gemeinsame Verteilung zweier kategorialer Variablen X,YX,YX,Y mit x,y∈{1,…,K}x,y∈{1,…,K}x,y\in\{1,\ldots,K\} . Angenommen, es wurden nnn Stichproben aus dieser Verteilung gezogen, aber wir erhalten nur die Grenzwerte, nämlich für j=1,…,Kj=1,…,Kj=1,\ldots,K...
Die Frage: Bootstrapping ist Jackknifing überlegen ; Ich frage mich jedoch, ob es Fälle gibt, in denen das Jackknifing die einzige oder zumindest eine praktikable Option zur Charakterisierung der Unsicherheit aus Parameterschätzungen ist. Auch in praktischen Situationen, wie voreingenommen /...
Ich habe die Diskussion in Hacker News über die Verwendung der Standardabweichung im Gegensatz zu anderen Metriken wie der mittleren absoluten Abweichung gelesen . Wenn wir also dem Prinzip der maximalen Entropie folgen würden, mit welcher Art von Verteilung würden wir arbeiten, wenn wir nur den...
Eines der wichtigen Themen von Meteorologen konfrontiert wird , wenn die gegebene Serie kann prognostiziert werden oder nicht? Ich bin auf einen Artikel mit dem Titel " Entropie als A-priori-Indikator für die Vorhersagbarkeit " von Peter Catt gestoßen , in dem die ungefähre Entropie (ApEn) als...
Ich bin fasziniert vom Konzept eines Maximum Entropy Markov-Modells (MEMM) und denke darüber nach, es für einen POS-Tagger (Part of Speech) zu verwenden. Im Moment verwende ich einen herkömmlichen ME-Klassifikator (Maximum Entropy), um jedes einzelne Wort zu kennzeichnen. Dies verwendet eine Reihe...
Kurze Frage: Warum ist das so? Lange Frage: Ganz einfach, ich versuche herauszufinden, was diese erste Gleichung rechtfertigt. Der Autor des Buches, das ich gerade lese (Kontext hier, wenn Sie es wollen, aber nicht notwendig), behauptet Folgendes: Aufgrund der Annahme einer
Ich hatte kürzlich eine kurze Diskussion mit einem sachkundigen Freund, der erwähnte, dass SVMs die Nulltemperaturgrenze der logistischen Regression sind. Das Grundprinzip umfasste marginale Polytope und Fenchel-Dualität. Ich konnte nicht folgen. Ist diese Aussage über SVMs als...
Es ist in der Regel viele gemeinsame Verteilungen P.( X.1= x1, X.2= x2, . . . , X.n= xn)P(X1=x1,X2=x2,...,Xn=xn)P(X_1 = x_1, X_2 = x_2, ..., X_n = x_n) in Übereinstimmung mit einer bekannten Satz Randverteilungen .fich( xich) = P.( X.ich= xich)fich(xich)=P.(X.ich=xich)f_i(x_i) = P(X_i = x_i) von...
Angenommen, die Menge, auf die wir schließen wollen, ist eine Wahrscheinlichkeitsverteilung. Wir wissen , ist alles , was die Verteilung von einem Satz kommt bestimmt, sagen, von einigen seiner Momente und wir haben ein vorrangiges .E.E.EQ.Q.Q Das Maximum-Entropie-Prinzip (MEP) besagt, dass das die...
Welche Verteilungsannahme minimiert angesichts eines Anteils und seines Standardfehlers die Annahmen / maximiert die Entropie? Ist es die Beta (und kann ich die Methode der Momente verwenden, um ihre Parameter abzuschätzen)? Oder etwas