Ich hatte kürzlich eine kurze Diskussion mit einem sachkundigen Freund, der erwähnte, dass SVMs die Nulltemperaturgrenze der logistischen Regression sind. Das Grundprinzip umfasste marginale Polytope und Fenchel-Dualität. Ich konnte nicht folgen. Ist diese Aussage über SVMs als...
Angenommen, die Menge, auf die wir schließen wollen, ist eine Wahrscheinlichkeitsverteilung. Wir wissen , ist alles , was die Verteilung von einem Satz kommt bestimmt, sagen, von einigen seiner Momente und wir haben ein vorrangiges .E.E.EQ.Q.Q Das Maximum-Entropie-Prinzip (MEP) besagt, dass das die...
Lassen XXX eine Zufallsvariable sein, die Werte in einer Menge annimmt XX\mathcal{X}. Die Verteilung vonXXXist nicht einheitlich, aber es gibt eine TeilmengeA∈XA∈XA\in\mathcal{X} Das ist "einheitlich": alle Ereignisse in AAA mit gleicher Wahrscheinlichkeit auftreten. Können wir die Entropie von...
Angenommen, (mit ) hat eine Dichte . Was können wir über die Verteilung von sagen X∈RnX∈RnX \in \mathbb{R}^nn>1n>1n > 1fX(x)fX(x)f_X(x)Y=−logfX(X)?Y=−logfX(X)? Y = -\log
"Entropie" erfasst grob den Grad der "Information" in einer Wahrscheinlichkeitsverteilung. Für diskrete Verteilungen gibt es eine weitaus genauere Interpretation: Die Entropie einer diskreten Zufallsvariablen ist eine Untergrenze für die erwartete Anzahl von Bits, die zur Übertragung des...
Es sei die Wahrscheinlichkeitsmassen einer Poisson-Verteilung mit dem Parameter . Ich suche die Summe ihrer Quadrate, als Funktion von . Mit anderen Worten, ich interessiere mich für (das Exponential von) der Renyi-Entropie zweiter Ordnung einer Poisson-Verteilung.(pk)k = 0 , … ,...
Welche Verteilungsannahme minimiert angesichts eines Anteils und seines Standardfehlers die Annahmen / maximiert die Entropie? Ist es die Beta (und kann ich die Methode der Momente verwenden, um ihre Parameter abzuschätzen)? Oder etwas