Ich versuche, die Idee der gegenseitigen Information auf die Merkmalsauswahl anzuwenden, wie in diesen Vorlesungsunterlagen (auf Seite 5) beschrieben. Meine Plattform ist Matlab. Ein Problem, das ich bei der Berechnung gegenseitiger Informationen aus empirischen Daten finde, ist, dass die Anzahl...
In dem Artikel Deep Learning und das Prinzip des Informationsengpasses geben die Autoren in Abschnitt II A) Folgendes an: Einzelne Neuronen klassifizieren nur linear trennbare Eingaben, da sie nur Hyperebenen in ihrem Eingaberaum implementieren können . Hyperebenen können Daten optimal...
In diesem https://cs231n.github.io/neural-networks-case-study/ wird erwähnt, warum "der Softmax-Klassifizierer jedes Element von ff so interpretiert, dass es die (nicht normalisierten) Protokollwahrscheinlichkeiten der drei Klassen enthält". Ich verstehe, warum es nicht normalisiert ist, aber...
Meine Frage betrifft die Beziehung zwischen der Hypothese der effizienten Codierung, die auf der Wikipedia-Seite über effiziente Codierung und Lernalgorithmen für neuronale Netze beschrieben wird. Welche Beziehung besteht zwischen der Hypothese der effizienten Codierung und neuronalen...
Angenommen, ich habe eine Stichprobe von Häufigkeiten von 4 möglichen Ereignissen: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 und ich habe die erwarteten Wahrscheinlichkeiten, dass meine Ereignisse eintreten: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Mit der Summe der beobachteten Häufigkeiten meiner vier...
Heute bin ich auf das Buch "Informationstheorie: Eine Einführung in ein Tutorial" von James Stone gestoßen und habe ein oder zwei Momente über das Ausmaß der Verwendung der Informationstheorie in der angewandten Datenwissenschaft nachgedacht (wenn Sie mit diesem noch etwas unscharfen Begriff nicht...
Ich versuche, die normalisierte Form der punktuellen gegenseitigen Information zu verstehen. npmi=pmi(x,y)log(p(x,y))npmi=pmi(x,y)log(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} Warum normalisiert die logarithmische Gelenkwahrscheinlichkeit die punktweise gegenseitige Information auf [-1,...
Ich habe Probleme, eine Intuition über die gemeinsame Entropie aufzubauen. = Unsicherheit in der gemeinsamen Verteilung ; = Unsicherheit in ; = Unsicherheit in .H(X,Y)H(X,Y)H(X,Y)p(x,y)p(x,y)p(x,y)H(X)H(X)H(X)px(x)px(x)p_x(x)H(Y)H(Y)H(Y)py(y)py(y)p_y(y) Wenn H (X) hoch ist, ist die Verteilung...
Angesichts zweier bivariater Normalverteilungen und versuche ich, die Jensen-Shannon-Divergenz zwischen ihnen zu berechnen. definiert (für den diskreten Fall) als: wobei KLD die Kullback-Leibler-Divergenz ist , und M = \ frac {1} {2} (P + Q) Ich habe den Weg gefunden, KLD anhand der...
Im Wikipedia-Eintrag für das Akaike-Informationskriterium lesen wir unter Vergleich mit BIC (Bayesianisches Informationskriterium), dass ... AIC / AICc hat theoretische Vorteile gegenüber BIC ... AIC / AICc leitet sich aus Informationsprinzipien ab; BIC ist nicht ... BIC hat einen Prior von 1 / R...
Lassen XXX eine Zufallsvariable sein, die Werte in einer Menge annimmt XX\mathcal{X}. Die Verteilung vonXXXist nicht einheitlich, aber es gibt eine TeilmengeA∈XA∈XA\in\mathcal{X} Das ist "einheitlich": alle Ereignisse in AAA mit gleicher Wahrscheinlichkeit auftreten. Können wir die Entropie von...
Im Jahr 2015 veröffentlichten Tishby und Zaslavsky ein bekanntes Papier, in dem behauptet wurde, dass das sogenannte Prinzip des Informationsengpasses verwendet werden könnte, um das Verhalten tiefer neuronaler Netze zu verstehen. In einem neueren Artikel (April 2017) erweitern Schwartz-Ziv und...
"Entropie" erfasst grob den Grad der "Information" in einer Wahrscheinlichkeitsverteilung. Für diskrete Verteilungen gibt es eine weitaus genauere Interpretation: Die Entropie einer diskreten Zufallsvariablen ist eine Untergrenze für die erwartete Anzahl von Bits, die zur Übertragung des...