Überquert die Erwartung der ausreichenden Statistik den gesamten Raum in einer exponentiellen Familie?

Eine Exponentialfamilie wird unter Verwendung von zwei Bestandteilen definiert: - eine Basisdichte - eine Anzahl ausreichender Statistiken$q_0(x)$$S_i(x)$

Die Familie besteht aus allen Wahrscheinlichkeitsdichten, die geschrieben werden können als:

$$q(x| (\lambda)_i ) \propto q_0(x) \exp \left( \sum_i \lambda_i S_i(x) \right)$$

Es ist bekannt, dass die Beziehung zwischen den Parametern und dem erwarteten Wert der ausreichenden Statistik: ist eine Bijektion.$(\lambda_i)$

$$E_q( S_i(x) | (\lambda_i) ) = \frac{\int S_i (x) q_0(x) \exp \left( \sum_i \lambda_i S_i(x) \right) dx}{ \int q_0(x) \exp \left( \sum_i \lambda_i S_i(x) \right) dx}$$

Meine Frage ist, ob diese Bijektion weiterhin "alle möglichen Werte" für . In meiner ursprünglichen Frage habe ich dieses Ensemble "aller möglichen Werte" sehr schlecht definiert, so dass die Antwort auf meine Frage etwas trivial Nein war.$E_q( S_i(x) | (\lambda_i) )$

Um "alle möglichen Werte" zu definieren, müssen wir das Bild der vektorwertigen Funktion betrachten:

$$x \rightarrow \mathbf{S}(x)$$

Ein Wert in kann durch den erwarteten Wert von unter einer Wahrscheinlichkeitsdichte wenn und nur wenn er sich innerhalb der konvexen Hülle des Bildes von .$\mathbb{R}^d$$\mathbf{S}$$p(x)$$\mathbf{S}$

Die Frage ist dann: Wann hat der erwartete Wert von innerhalb der Exponentialfamilie auch die Eigenschaft, die gesamte konvexe Hülle des Bildes von überspannen ?$\mathbf{S}$$\mathbf{S}$

Hier sind zwei Beispiele:

Die Gaußsche Familie in n-Dimensionen: Die ausreichenden Statistiken sind alle ersten und zweiten Momente. Es ist in der Tat so, dass alle ersten und zweiten Momente von einem Gaußschen erreicht werden können.

Die Exponentialfamilie:

$$q(x|\lambda) = exp( - |x| + \lambda x^2 )$$

erreicht nicht alle Werte für den zweiten Moment: Werte über der Obergrenze bei werden nicht erreicht.$\lambda=0$

Dieses zweite Beispiel lässt mich denken, dass Probleme in den Schwänzen auftreten werden, wenn sie überhaupt auftreten, aber vielleicht ist die Intuition falsch.

Kurze Antwort auf OP

Nicht unbedingt, es hängt davon ab, ob der erweiterte konvexe Kegel, der durch Variieren von außerhalb des Bereichs Ihres Parameterraums überspannt wird, den gesamten mittleren Parameterraum abdecken kann. Eine Situation ist, dass Ihr Exponentialmodell überparametrisiert ist, wobei Sie nicht den gesamten Raum durch Variieren von 's "füllen" können ; Die andere Situation ist, dass Ihre exponentielle Familie gekrümmt ist, was auch bei einem solchen Versuch fehlschlägt. Siehe auch meine Antwort HIER$\lambda_i$$\lambda$

Ich möchte diese Antwort nicht wirklich in eine Darstellung des mittleren Parameterraums verwandeln (vielleicht [Brown], aber bei weitem nicht vollständig), aber es scheint jetzt nach aufeinanderfolgenden Diskussionen unvermeidlich. Ich weiß nicht wirklich, ob es irgendwelche Abhandlungen gibt, die dem mittleren Parameterraum gewidmet sind, aber der mittlere Parameterraum gibt eine natürliche Darstellung der Familie der Wahrscheinlichkeitsmaße und ist daher für die konvexe Analyse geeignet. In den meisten statistischen Anwendungen ist die Differenzierbarkeit für die Realität viel zu stark.

$\bullet$ Differenzierbarkeit Parameter WRT in der Regel nur dann ausgegangen , eine Art von Konsistenz guarante , wenn andere Annahmen entweder trivial oder zu kompliziert zu formalisieren. ZB Bootstrap-Methoden .

$\bullet$ Continuity wrt-Parameter sind eine recht milde Annahme, und wir möchten sie manchmal annehmen, selbst wenn die gesammelten Daten diskret zu sein scheinen. Kontinuität ermöglicht eine Art lokale Inferenz, aber einige Optimierungstechniken haben ihre Leistung verloren. ZB Schnellste Gradientenmethode.

$\bullet$ bull Convexity wrt-Parameter sind die schwächste Annahme unter drei, aber trotzdem wollen wir das nicht immer annehmen. ZB konkave Verlustfunktion.

Der mittlere Parameterraum wird eingeführt, um der "konvexen Familie" eine nützliche Darstellung zu geben. Später in der Untersuchung der Positivität [Karlin] wird die Dualität zwischen dem mittleren Parameterraum und der Familie der PMS als sehr nützlich befunden. Es gibt andere Motivationen wie die Frenchel-Dualität aus der konvexen Analyse, die erklären, warum wir den mittleren Parameterraum untersuchen. Sie können jedoch sehen, dass normalerweise eine Art von Subgradienten eingeführt wird, um den konvexen Raum nach dem Hilbert-Raum zu modellieren.

Nun erklären wir, warum der mittlere Parameterraum wichtig ist. Definieren Sie den Doppelkegel für einen konvexen Kegel Für einen speziellen Fall sagte uns der Karlin-Shapley-Repräsentationssatz [Karlin & Shapley], dass die extremen Strahlen / Punkte des Doppelkegels des Momentraums, der mit der Familie verbunden ist, genau an der Grenze von liegen der Parameterraum.$C\subset\mathbb{R}^{n+1}$ $C^+:=\{v\in\mathbb{R}^{n+1}:<v,u>\geq 0,\forall u\in C\}$

Denn was kann eine ausreichende Familie Art von Werten erreichen, wenn die ausreichenden Statistiken ist ebenfalls vollständig und haben die gleiche Dimension wie der Parameterraum, die die Struktur der exponentiellen Familie bedeuten , linear, dann glaube ich , solange die Der Parameterraum hat keine entartete Grenze, die Erwartung einer ausreichenden Statistik kann alle Werte überschreiten . Aus geometrischer Sicht können Sie nur dann, wenn der Doppelkegel entartet ist, den gesamten Raum durchqueren und alle "möglichen Werte" erreichen, die möglicherweise hat.$S(X)$$ES(X)$$ES(X)$

Wenn es nicht vollständig oder überparametriert oder gekrümmt ist, bin ich mir nicht sicher.

In Ihrem zweiten Beispiel ist der doppelte Kegel des Momentraums tatsächlich ein strenger Kegel, während im ersten Beispiel ein entarteter Kegel (der gesamte , stellen Sie sich vor, dass der Durchmesser eines Kegels dazu neigt ). Aber ich bin mir immer noch nicht sicher, wie Sie das von Ihnen behauptete Ergebnis erreichen.$\mathbb{R}\times\mathbb{R}$$\infty$

Referenz

[Brown] Brown, Lawrence D. "Grundlagen statistischer Exponentialfamilien mit Anwendungen in der statistischen Entscheidungstheorie." Lecture Notes-Monographienreihe 9 (1986): i-279.

[Karlin] Karlin, Samuel. Totale Positivität. Vol. 1. Stanford University Press, 1968.

[Karlin & Shapley] Karlin, Samuel und Lloyd S. Shapley. Geometrie von Momentenräumen. Nr. 12. American Mathematical Soc., 1953.