Negentropie ableiten. Steckenbleiben

Diese Frage ist also etwas umständlich, aber ich habe sorgfältig versucht, sie so einfach wie möglich zu gestalten.

Ziel: Kurz gesagt, es gibt eine Ableitung von Negentropie, die keine Kumulanten höherer Ordnung beinhaltet, und ich versuche zu verstehen, wie sie abgeleitet wurde.

Hintergrund: (Ich verstehe das alles)

Ich lerne selbst das Buch 'Independent Component Analysis' , das hier zu finden ist. (Diese Frage stammt aus Abschnitt 5.6, falls Sie das Buch "Approximation der Entropie durch nichtpolynomielle Funktionen" haben.)

Wir haben $x$ , eine Zufallsvariable, und deren Negentropie wir aus einigen Beobachtungen abschätzen möchten. Das PDF von $x$ ist gegeben durch $p_x(\zeta)$ . Negentropie ist einfach die Differenz zwischen der Differentialentropie einer standardisierten Gaußschen Zufallsvariablen und der Differentialentropie von $x$ . Die Differentialentropie ist hier durch $H$ , so dass:

$$H(x) = -\int_{-\infty}^{\infty} p_x(\zeta) \: log(p_x(\zeta)) \: d\zeta$$

und so ist die Negentropie gegeben durch

$$J(x) = H(v) - H(x)$$

wobei $v$ ein standardisiertes Gaußsches rv ist, wobei PDF durch $\phi(\zeta)$ .

Als Teil dieser neuen Methode hat mein Buch eine Schätzung des PDF von $x$ , die gegeben ist durch:

$$p_x(\zeta) = \phi(\zeta) [1 + \sum_{i} c_i \; F^{i}(\zeta)]$$

(Wobei . By the way, ich bin nicht eine Macht, sondern ein Index statt).$c_i = \mathbb{E}\{F^i(x)\}$$i$

Im Moment 'akzeptiere' ich diese neue PDF-Formel und werde sie an einem anderen Tag danach fragen. Dies ist nicht mein Hauptproblem. Was er jetzt tut, ist, diese Version des PDFs von wieder in die Negentropie-Gleichung einzubinden und am Ende Folgendes zu erhalten:$x$

$$J(x) \approx \frac{1}{2}\sum_i\mathbb{E} \{F^i(x)\}^2$$

Denken Sie daran, dass das Sigma (hier und für den Rest des Beitrags) nur den Index . Wenn wir zum Beispiel nur zwei Funktionen hätten, würde sich das Signal für i = 2 und i = 2 schleifen . Natürlich sollte ich Ihnen etwas über die Funktionen erzählen, die er verwendet. Offensichtlich sind diese Funktionen F i wie folgt definiert:$i$$i=2$$i=2$$F^i$

Die Funktionen sind nicht Polynomfunktionen in diesem Fall. (Wir nehmen an, dass rv x der Mittelwert Null und die Einheitsvarianz ist.) Nehmen wir nun einige Einschränkungen vor und geben Sie die Eigenschaften dieser Funktionen an:$F^i$$x$

$$F^{n+1}(\zeta) = \zeta, \: \: c_{n+1} = 0$$

$$F^{n+2}(\zeta) = \zeta^2, \: \: c_{n+1} = 1$$

Zur Vereinfachung der Berechnungen, lassen Sie uns machen eine andere, rein technische Annahme: Die Funktionen , bilden ein orthonormales System als solches:$F^i, i = 1, ... n$

$$\int \phi(\zeta) F^i(\zeta)F^j(\zeta)d\zeta= \begin{cases} 1, \quad \text{if } i = j \\ 0, \quad \text{if } i \neq j \end{cases}$$

und

$$\int \phi(\zeta)F^i(\zeta)\zeta^k d(\zeta) = 0, \quad \text{for } k = 0,1,2$$

Fast dort! OK, all das war der Hintergrund und nun zur Frage. Die Aufgabe besteht darin, dieses neue PDF einfach in die Differential-Entropie-Formel einzufügen . Wenn ich das verstehe, werde ich den Rest verstehen. Jetzt gibt das Buch die Herleitung (und ich stimme dem zu), aber ich stecke gegen Ende fest, weil ich nicht weiß / sehe, wie es sich aufhebt. Außerdem weiß ich nicht, wie ich die Small-O-Notation aus der Taylor-Erweiterung interpretieren soll.$H(x)$

Das ist das Ergebnis:

Verwenden der Taylor - Erweiterung , fürH(x) erhaltenwir:$(1+\epsilon)log(1+\epsilon) = \epsilon + \frac{\epsilon^2}{2} + o(\epsilon^2)$$H(x)$

$$H(x) = -\int \phi(\zeta) \; (1 + \sum c_i F^i(\zeta)) \; (log(1 + \sum c_i F^i(\zeta) + log(\zeta)) \; d(\zeta) \\ = -\int \phi(\zeta) log(\zeta) -\int \phi(\zeta) \sum c_i F^i(\zeta) log(\phi(\zeta)) -\int \phi(\zeta) \; [\sum c_i F^i(\zeta) + \frac{1}{2}(\sum c_i F^i(\zeta))^2 + o((\sum c_i F^i(\zeta))^2)]$$

und so

Die Frage: (Ich verstehe das nicht)

$$H(x) = H(v) - 0 - 0 -\frac{1}{2}\sum c_i^2 + o((\sum c_i)^2$$

Also, mein Problem: Mit Ausnahme des verstehe ich nicht, wie er die letzten 4 Terme in der letzten Gleichung erhalten hat. (dh die 0, die 0 und die letzten 2 Terme). Ich verstehe alles vorher. Er sagt, er habe die in den obigen Eigenschaften angegebenen Orthogonalitätsbeziehungen ausgenutzt, aber ich verstehe nicht, wie. (Ich verstehe auch die Kleinschreibung hier nicht im Sinne der Verwendung?)$H(v)$

VIELEN DANK!!!!

BEARBEITEN:

Ich habe die Bilder aus dem Buch, das ich gerade lese, hinzugefügt. Es sagt so ziemlich alles, was ich oben gesagt habe, aber nur für den Fall, dass jemand zusätzlichen Kontext benötigt.

Und hier, rot markiert, ist genau der Teil, der mich verwirrt. Wie verwendet er die Orthogonalitätseigenschaften, um den letzten Teil, in dem sich die Dinge aufheben, und die letzten Summierungen mit c 2 zu erhalten ?$c_i^2$

$c_i$

$$c_i=\int p_0(\xi)G^i(\xi)d\xi.$$ $\xi$$\xi'$$c_i$

>> So erhalten Sie die Nullterme:

$\varphi(\xi)=\exp(-\xi^2/2)/\sqrt{2\pi}$$\log\varphi(\xi)$

$$\log\varphi(\xi)=-\xi^2/2-\log\sqrt{2\pi}.$$ $$c_i\int\varphi(\xi)G^i(\xi)\log \varphi(\xi)=-\frac{1}{2}c_i\int\varphi(\xi)G^i(\xi)\xi^2-\log\sqrt{2\pi}c_i\int\varphi(\xi)G^i(\xi),\ \ \ (1)$$ wo ich die Konstanten außerhalb der Integrale fallen gelassen habe.

Von hier aus ist zu beachten, dass in (5.39) angegeben ist, dass $\int \varphi(\xi)F^i(\xi)\xi^k$ ist $0$ zum $k=0,1,2$. Das Integral im ersten Term rechts von Gl.$(1)$ ist von dieser Form (mit $k=2$) und das Integral auch im zweiten Term (mit $k=0$). Sie müssen nur diese Tatsache auf den Summen ausnutzen und Sie sind fertig!

>> Um die zu erhalten $\sum c_i^2$ terms:

Note that the integral to be obtained to obtain these terms is:

$$\int \varphi(\xi)\left(\sum_{i=1}^{n} c_iG^i(\xi)\right)^2d\xi.$$ We can use the multinomial theorem to expand the squared sum. This gives us: $$\int \varphi(\xi)\sum_{k_1+k_2+...k_n=2} \frac{2!}{k_1! k_2!...k_n!}\prod_{1\leq t \leq n}(c_tG^t(\xi))^{k_t}d\xi.$$ However, from (5.39) again, note that all the terms in this sum which include integrals for the form $$\int \varphi(\xi)G^{i}(\xi)G^{j}(\xi)d\xi$$ are zero for $i\neq j$ and one for $i=j$. This leave us with the result $$\int \varphi(\xi)\left(\sum c_iG^i(\xi)\right)^2d\xi=\sum c_i^2.$$

>> About the $o(\text{whatever})$ notation

I think this is pretty confusing from the authors, but I recall that they use it just to mean that there are terms of order $\text{whatever}$ every time they put $o(\text{whatever})$ (i.e., just like the big-O notation). However, as @Macro commented on this same answer, there is a difference between the big-O notation and the little-O one. Maybe you should check by yourself and see which one suits the problem in this Wikipedia article.

PS: This is a great book by the way. The papers of the authors on the subject are also very good and are a must read if you are trying to understand and implement ICA.