Rolle der Dirac-Funktion in Partikelfiltern

Partikelnäherungen an Wahrscheinlichkeitsdichten werden häufig als gewichtete Summe von Dirac-Funktionen eingeführt

$$p(x) \approx \sum_{i=1}^N \omega^i \delta(x-x^i)$$

mit den Gewichten

$$\omega^i \propto \frac{p(x^i)}{q(x^i)}$$

normalisiert, so dass sie zur Einheit summieren; Dabei ist die Wichtigkeitsdichte. Ich verstehe , daß die Dirac - Funktion an einem Punkt unendlich groß wird , dh und dass es an anderer Stelle Null, dh . Ich verstehe auch, dass die über den Massenpunkt integrierte Dirac-Funktion den Wert der Einheit annimmt.$q(\cdot)$$p$$\delta(p) = \infty$$\delta(x) = 0 ~\forall x \neq p$

Meine Fragen sind:

1. Welche Beziehung besteht zwischen der Unterstützung der Partikelnäherung und der Dirac-Funktion?
2. Warum wird ein Summationszeichen verwendet, wenn nur einen Wert von 0 oder unendlich ergeben kann? Sollte dies nicht stattdessen ein Integral sein?$\delta$
3. Wie kann der Begriff der Unterstützung einer Funktion auf eine Reihe von Punkten (z. B. ) erweitert werden, die selbst keine Funktion sind?$x_t^{(i)}$
4. Wie kann eine Darstellung einer Wahrscheinlichkeitsdichtefunktion aus einer gewichteten Summe von s entstehen, die selbst nur Werte von Null oder Unendlich annehmen?$\delta(\cdot)$

Vielen Dank für eventuelle Klarstellungen.

@ user20160 hat Ihnen bereits eine nette Antwort auf Ihre (1) - (3) Fragen gegeben, aber die letzte scheint noch nicht vollständig beantwortet zu sein.

4. Wie kann eine Darstellung einer Wahrscheinlichkeitsdichtefunktion aus einer gewichteten Summe von s entstehen, die selbst nur Werte von Null oder Unendlich annehmen?$\delta(\cdot)$

Lassen Sie mich mit dem Zitieren von Wikipedia beginnen, da es in diesem Fall eine ziemlich klare Beschreibung enthält (beachten Sie die Fettdrucke, die ich hinzugefügt habe):

Das Dirac-Delta kann lose als eine Funktion auf der realen Linie betrachtet werden, die überall Null ist, außer am Ursprung, wo es unendlich ist.

$$\delta(x) = \begin{cases} +\infty, & x = 0 \\ 0, & x \ne 0 \end{cases}$$

und die auch gezwungen ist, die Identität zu befriedigen

$$\int_{-\infty}^\infty \delta(x) \, dx = 1$$

Dies ist lediglich eine heuristische Charakterisierung. Das Dirac-Delta ist keine Funktion im herkömmlichen Sinne, da keine auf den reellen Zahlen definierte Funktion diese Eigenschaften hat . Die Dirac-Delta-Funktion kann entweder als Verteilung oder als Maß genau definiert werden.

Darüber hinaus bietet Wikipedia eine formalere Definition und viele Beispiele. Ich würde Ihnen daher empfehlen, den gesamten Artikel durchzugehen. Lassen Sie mich ein Beispiel daraus zitieren:

In der Wahrscheinlichkeitstheorie und -statistik wird die Dirac-Delta-Funktion häufig verwendet, um eine diskrete Verteilung oder eine teilweise diskrete, teilweise kontinuierliche Verteilung unter Verwendung einer Wahrscheinlichkeitsdichtefunktion (die normalerweise zur Darstellung vollständig kontinuierlicher Verteilungen verwendet wird) darzustellen. Beispielsweise kann die Wahrscheinlichkeitsdichtefunktion einer diskreten Verteilung, die aus Punkten mit entsprechenden Wahrscheinlichkeiten , wie geschrieben werden$f(x)$$x = \{x_1, \dots, x_n\}$$p_1, \dots, p_n$

$$f(x) = \sum_{i=1}^n p_i \delta(x-x_i)$$

Diese Gleichung besagt, dass wir die Summe über kontinuierliche Verteilungen , deren gesamte Masse um . Wenn Sie versuchen möchten, sich -Verteilungen als kumulative Verteilungsfunktionen vorzustellen , muss dies der Fall sein$n$$\delta_{x_i} = \delta(x-x_i)$$x_i$$\delta_{x_i}$

$$F_{x_i}(x) = \begin{cases} 0 & \text{if } x < x_i \\ 1 & \text{if } x \ge x_i \end{cases}$$

So können wir die vorherige Dichte in die kumulative Verteilungsfunktion umschreiben

$$F(x) = \sum_{i=1}^n p_i F_{x_i}(x) = \sum_{i=1}^n p_i \mathbf{1}_{x \ge x_i}$$

Dabei ist eine Indikatorfunktion, die auf . Beachten Sie, dass dies im Grunde eine kategorische Verteilung in Verkleidung ist. Darüber hinaus können Sie das Dirac-Delta als beliebige Funktion definieren$\mathbf{1}_{x \ge x_i}$$x_i$

$$\int_{-\infty}^\infty f(x) \delta(x-x_i) dx = f(x_i)$$

es "funktioniert" also als kontinuierliche Version der Anzeigefunktion.

Die Nachricht zum Mitnehmen ist, dass das Dirac-Delta keine Standardfunktion ist. Es ist auch nicht gleich unendlich bei Null - wenn es so wäre, wäre es nutzlos, weil unendlich keine Zahl ist, so dass wir keine arithmetischen Operationen darüber ausführen könnten. Sie können sich Dirac-Delta einfach als eine Indikatorfunktion vorstellen, die auf ein , das kontinuierlich ist und sich zur Einheit integriert. Keine schwarze Magie, es ist nur eine Möglichkeit, den Kalkül zu hacken, um mit diskreten Werten umzugehen.$x_i$

Welche Beziehung besteht zwischen der Unterstützung der Partikelnäherung und der Dirac-Funktion?

Die Verteilung wird als gewichtete Summe der Delta-Funktionen angenähert. Die Unterstützung der Approximation ist also die Vereinigung der Unterstützung der Delta-Funktionen. Jede Delta-Funktion ist überall Null, mit Ausnahme eines einzelnen Punktes ( ), dessen Wert unendlich ist. Die Unterstützung jeder Delta-Funktion ist also dieser einzelne Punkt, und die Unterstützung der ungefähren Verteilung ist die Menge der Punkte$x_t^{(i)}$$\left \{ x_t^{(i)} \right \}_{i=1}^N$

Warum wird ein Summationszeichen verwendet, wenn nur einen Wert von 0 oder unendlich ergeben kann? Sollte dies nicht stattdessen ein Integral sein?$\delta$

Die Summe dient dazu, die Verteilung als gewichtete Summe von Delta-Funktionen auszudrücken. Dies bedeutet nur: "Platziere eine Delta-Funktion an jedem Punkt und skaliere ihre Amplitude mit ." Die Verteilung ist kontinuierlich, so dass ihr Wert an jedem Punkt ist die Wahrscheinlichkeitsdichte , nicht die Wahrscheinlichkeit. Wir würden die Dichte über eine Region integrieren, um die zugehörige Wahrscheinlichkeit zu erhalten. Das Integral jeder skalierten Delta-Funktion ist . Das heißt , die Wahrscheinlichkeit für jeden Punkt ist , und die Wahrscheinlichkeit , einen anderen Wert 0 ist .$x_t^{(i)}$$\pi_t^{(i)}$$\pi_t^{(i)}$$x_t^{(i)}$$\pi_t{(i)}$

Hier ist ein Beispiel für die Approximation einer kontinuierlichen Verteilung mithilfe von Delta-Funktionen. Die Verteilung ist eine Gaußsche Verteilung. wird unter Verwendung der Verteilung approximiert , die eine Summe von 50 skalierten Delta-Funktionen ist. Die Positionen der Delta-Funktionen werden aus abgetastet .$g$$g$$f$$g$

Aus der Sicht sehen die PDFs nicht sehr ähnlich aus, da keine schöne Form hat, die wir sehen können. Die Delta-Funktionen sind jedoch in Regionen, in denen eine höhere Dichte aufweist, enger zusammengepackt . Sobald wir anfangen, Integrale zu nehmen, wird die Ähnlichkeit offensichtlicher. Zum Beispiel sind die CDFs merklich ähnlich. Der Mittelwert, die Varianz usw. sind ebenfalls ähnlich. Die Qualität der Approximation wird sich verbessern, wenn die Anzahl der Abtastwerte / Delta-Funktionen zunimmt.$f$$g$

Wie kann der Begriff der Unterstützung einer Funktion auf eine Reihe von Punkten (z. B. ) erweitert werden, die selbst keine Funktion sind?$x^{(i)}_t$

Support ist ein Konzept, das für Funktionen und nicht für Mengen definiert ist. Die Unterstützung einer Funktion ist der Satz von Eingängen, für die der Ausgang ungleich Null ist. Wie oben, wenn wir eine Funktion als eine Summe von Deltafunktionen liegt an jedem Punkt in einem Satz definieren ist, ist die Unterstützung dieser Funktion . Wir können auch die Indikatorfunktion von . Angenommen, ist eine Teilmenge einer größeren Menge (z. B. der reellen Zahlen). Die ist auf definiert . Es nimmt den Wert wenn , andernfalls . So ist die Unterstützung der Indikatorfunktion .$S$$S$$S$$S$$L$$I_S(x)$$L$$1$$x \in S$$0$$S$

Wie kann eine Darstellung einer Wahrscheinlichkeitsdichtefunktion aus einer gewichteten Summe von δ (⋅) s entstehen, die selbst nur Werte von Null oder Unendlich annehmen?

Stellen Sie sich Diracs Delta-Funktion als Brücke zwischen diskreten und kontinuierlichen Werten vor. Dirac hat sie entwickelt, um seine Mathematik zu vereinfachen, indem er kontinuierliche mathematische Werkzeuge auf diskrete Größen anwendet. Ich denke an Diracs Delta in genau den gleichen Situationen, in denen es zu umständlich ist, mit diskreten Werten umzugehen.

In Ihrem Beispiel wollte jemand die Wahrscheinlichkeitsdichtefunktion haben. Großartig! Das Problem ist jedoch, dass Ihre Eingaben diskrete Beobachtungen sind. Also wusste dieser Typ über Diracs Funktion Bescheid und steckte sie ein:

$$p(x) \approx \sum_{i=1}^N \omega^i \delta(x-x^i)$$

Um diesen Ausdruck zu verstehen, bedenken Sie, wie Diracs Delta definiert ist:

$$\int f(x)\delta(x-x_0)dx=f(x_0)$$ $$\delta(x)\equiv 0, \forall x\ne 0$$

Beachten Sie, dass es nicht so definiert ist, wie Sie es beschrieben haben:

Die Dirac-Funktion wird an einem Punkt pp unendlich groß, dh δ (p) = ∞, und an anderer Stelle ist sie Null.

Dies ist nicht der richtige Weg, um sich eine Dirac-Funktion vorzustellen. Stellen Sie es sich immer als ein Integral vor, dessen Zweck darin besteht, den diskreten Wert bei mit dem kontinuierlichen Ausdruck (Integral) zu verknüpfen .$x_0$$\int \dots dx$

Wenden Sie nun ein Integral auf Ihre Gleichung an:

$$\int p(x) dx \approx \int \left(\sum_{i=1}^N \omega^i \delta(x-x^i)\right) dx= \sum_i\omega_i$$

Wenn Sie das Dirac'-Delta nicht hätten und das Integral auf eine Summe anwenden würden, würden Sie ein undefiniertes Integral erhalten:

$$\int \left(\sum_{i=1}^N \omega^i \right) dx=\infty$$

Zusammenfassend lässt sich sagen, dass Diracs Delta-Zweck darin besteht, diskrete Größen in den kontinuierlichen Raum zu bringen, und Ihre Definition von zeigt genau das. Es konstruiert die kontinuierliche Dichtefunktion aus diskreten Werten.$p(x)$$N$

Auch hier ist es irreführend, sich die Dirac-Funktion als "unendlich bei und überall Null" vorzustellen. Diese Beschreibung bringt nichts Nützliches in Bezug auf die Intuition. Lass es fallen.$x_0$

So definierte Diract selbst seine Funktion in " The Principles of Quantum Mechanics ":

So beschreibt er den Zweck der Funktion, bemerkt, wie er das Wort "Integrand" wiederholt und "Bequemlichkeit" betont:

Ich denke, Ihre Verwirrungen sind alle das Ergebnis des Denkens des Dirac-Deltas als Funktion. Dies ist nicht der Fall (siehe Wikipedia-Artikel https://en.wikipedia.org/wiki/Dirac_delta_function ).

Die Delta-Funktion ist als mathematisches Objekt nur dann sinnvoll, wenn sie innerhalb eines Integrals erscheint. Aus dieser Perspektive kann das Dirac-Delta normalerweise so manipuliert werden, als wäre es eine Funktion.

Wie @Tim zitiert, kann die Dirac-Delta-Funktion entweder als Verteilung oder als Maß genau definiert werden.

Dies ist lediglich eine heuristische Charakterisierung. Das Dirac-Delta ist keine Funktion im herkömmlichen Sinne, da keine auf den reellen Zahlen definierte Funktion diese Eigenschaften hat. Die Dirac-Delta-Funktion kann entweder als Verteilung oder als Maß genau definiert werden.

Ich denke, es ist einfacher, es als Maßnahme zu betrachten (dh im Wesentlichen etwas, gegen das Sie sich integrieren). Also gegeben eine Funktion f,

$\mu(f):= \int_{-\infty}^{\infty} f(x) \ d\mu(x)$

Wenn Sie eine Dichte p (x) haben, induziert dies ein Maß :$P$

$P(f)= \int_{-\infty}^{\infty} f (x)\ p(x)dx$

und die Delta-Funktion induziert ein Maß so dass $\nu$$\nu(f)=f(0)$

Die Funktionsnotation hilft also nur beim Addieren von Kennzahlen (Q2). dh was es wirklich sagt ist: wo$\mu(f):= \sum_{i=1}^{n} \nu_{x_i}(f)$

$\nu_{x_i}(f)=f(x_i)$

Dieser Standpunkt verdeutlicht auch die Unterstützungsfrage. Die Unterstützung wird mit beliebigen Funktionen definiert: Alle Funktionen f ohne Unterstützung bei Null haben = 0 Unterstützung einer Verteilung$\mu(f)$

Wie im Wikipedia-Artikel erwähnt, kann die Delta-Funktion konstruktiv als Grenze von durch Gaußschen induzierten Maßen mit einem Mittelwert bei Null und einer verschwindenden Standardabweichung ( ) angesehen werden (bezeichnet Gaußsches PDF als ).$\sigma$$g(x;\mu;\sigma)$

$\nu(f) = \lim_{\sigma\rightarrow 0} \int ^\infty _{-\infty} f(x) g(x;0,\sigma) dx$