Intuitives Verständnis des Halmos-Savage-Theorems

12

Das Halmos-Savage-Theorem besagt, dass für ein dominiertes statistisches Modell eine Statistik ist ausreichend, wenn (und nur wenn) für alle eine messbare Version des Radon-Nikodym-Derivats vorliegt, wobei ist bevorzugte Maßnahme, daß für und .( Ω , A , P ) (Ω,A,P)T : ( Ω , A , P ) ( Ω , A ) T:(Ω,A,P)(Ω,A){ P P } {PP}T Td PdPdPdPdPdPP=i=1PiciP=i=1Picici>0,i=1ci=1ci>0,i=1ci=1PiPPiP

Ich habe versucht, intuitiv zu verstehen, warum das Theorem wahr ist, aber es ist mir nicht gelungen, und meine Frage ist, ob es einen intuitiven Weg gibt, das Theorem zu verstehen.

Sebastian
quelle
Ich glaube, ich habe hier den richtigen Link. Bitte überprüfe und entferne es, wenn ich einen Fehler gemacht habe.
gung - Wiedereinsetzung von Monica
4
Vielleicht dem Leser bei der Terminologie helfen, zB "dominierte statistische Modelle", " T-T Messbarkeit" und "privilegierte Maßnahmen" definieren?
Carl

Antworten:

6

Ein technisches Lemma

Ich bin mir nicht sicher, wie intuitiv dies ist, aber das wichtigste technische Ergebnis, das Ihrer Aussage des Halmos-Savage-Theorems zugrunde liegt, ist Folgendes:

Lemma. Sei μμ ein σ-σ endliches Maß für ( S , A )(S,A) . Angenommen, ist eine Sammlung von Maßeinheiten für ( S , A ),(S,A) so dass für jedes ν ν , ν μ giltνμ . Dann existiert eine Folge von nichtnegativen Zahlen { c i } i = 1{ci}i=1 und eine Folge von Elementen von , { ν i } i = 1{νi}i=1so dass & Sgr; i = 1 c i = 1i=1ci=1 und ν « & Sgr; i = 1 c i ν iνi=1ciνi für jedes ν & egr ; ν .

Dies ist wörtlich aus Satz A.78 in Schervishs Statistiktheorie (1995) entnommen . Darin schreibt er es Lehmanns Testing Statistical Hypotheses (1986) zu ( Link zur dritten Ausgabe ), wobei das Ergebnis Halmos und Savage selbst zugeschrieben wird (siehe Lemma 7). Eine weitere gute Referenz ist Shaos Mathematical Statistics (zweite Ausgabe, 2003) , deren relevante Ergebnisse Lemma 2.1 und Theorem 2.2 sind.

Das obige Lemma besagt, dass Sie, wenn Sie mit einer Familie von Maßeinheiten beginnen, die von einem σ-σ endlichen Maß dominiert werden , das dominierende Maß tatsächlich durch eine abzählbare konvexe Kombination von Maßeinheiten innerhalb der Familie ersetzen können. Schervish schreibt vor dem Satz A.78:

"In statistischen Anwendungen werden wir oft eine Klasse von Maßen haben, von denen jede in Bezug auf ein einzelnes σ-σ endliches Maß absolut stetig ist . Es wäre schön, wenn das einzelne dominierende Maß in der ursprünglichen Klasse wäre oder aus dem konstruiert werden könnte Das folgende Theorem behandelt dieses Problem. "

Ein konkretes Beispiel

Angenommen, wir messen eine Größe X, vonX der wir glauben, dass sie für ein unbekanntes θ > 0 gleichmäßig auf das Intervall [ 0 , θ ] verteilt ist[0,θ] . In diesem statistischen Problem betrachten wir implizit die Menge P der Borel-Wahrscheinlichkeitsmaße für R, die aus den Gleichverteilungen in allen Intervallen der Form [ 0 , θ ] besteht . Das heißt, wenn λ Bezeichnet Lebesguemaß und für θ > 0 , P θ bezeichnet die Uniform ( [θ>0PR[0,θ]λθ>0Pθ0 , & thgr; ] )Uniform([0,θ]) Verteilung (dh P & thgr; ( A ) = 1θ & lgr;(A[0,θ])=A1θ 1[0,θ](x)d x

Pθ(A)=1θλ(A[0,θ])=A1θ1[0,θ](x)dx
für jedes Borel A RAR ), dann haben wir einfach P = { P θ : θ > 0 } .
P={Pθ:θ>0}.
Dies ist der Satz von Kandidatenverteilungen für unsere Messung XX .

Die Familie PP wird eindeutig vom Lebesgue-Maß λλ (das σ-σ endlich ist) dominiert, daher garantiert das obige Lemma (mit = P=P ) die Existenz einer Folge { c i } i = 1{ci}i=1 von nichtnegativen Zahlen, die sich zu 11 und a summieren Sequenz { Q i } i = 1{Qi}i=1 gleichmäßiger Verteilung in PP , so daß P θ « & Sigma; i = 1 c i Q i

Pθi=1ciQi
für jedes θ > 0θ>0 . In diesem Beispiel können wir solche Sequenzen explizit konstruieren!

Zunächst sei ( θ i ) i = 1(θi)i=1 eine Aufzählung der positiven rationalen Zahlen ( dies kann explizit erfolgen ) und sei Q i = P θ iQi=Pθi für jedes ii . Als nächstes sei c i = 2 - ici=2i , so dass i = 1 c i = 1 isti=1ci=1 . Ich behaupte, dass diese Kombination von { c i } i = 1{ci}i=1 und { Qi } i = 1{Qi}i=1 funktioniert.

Um dies zu sehen, fix θ > 0θ>0 und lassen AA eine Teilmenge von Borel sein RR , so daß & Sigma; i = 1 c i Q i ( A ) = 0i=1ciQi(A)=0 . Wir müssen zeigen, dass P θ ( A ) = 0 istPθ(A)=0 . Da i = 1 c i Q i ( A ) = 0i=1ciQi(A)=0 und jeder Summand nicht negativ ist, folgt daraus, dass c i Q i( A ) = 0ciQi(A)=0 für jedes ii . Da darüber hinaus jedes c ici positiv ist, folgt, dass Q i ( A ) = 0Qi(A)=0 für jedes i isti . Das heißt, für alle ii gilt Q i ( A ) = P θ i ( A ) = 1θiλ(A[0,θi])=0.

Qi(A)=Pθi(A)=1θiλ(A[0,θi])=0.
Since each θiθi is positive, it follows that λ(A[0,θi])=0λ(A[0,θi])=0 for each ii.

Now choose a subsequence {θik}k=1{θik}k=1 of {θi}i=1{θi}i=1 which converges to θθ from above (this can be done since QQ is dense in RR). Then A[0,θθik]A[0,θ]A[0,θθik]A[0,θ] as kk, so by continuity of measure we conclude that λ(A[0,θ])=limkλ(A[0,θik])=0,

λ(A[0,θ])=limkλ(A[0,θik])=0,
and so Pθ(A)=0Pθ(A)=0. This proves the claim.

Thus, in this example we were able to explicitly construct a countable convex combination of probability measures from our dominated family which still dominates the entire family. The Lemma above guarantees that this can be done for any dominated family (at least as long as the dominating measure is σσ-finite).

The Halmos-Savage Theorem

So now on to the Halmos-Savage Theorem (for which I will use slightly different notation than in the question due to personal preference). Given the Halmos-Savage Theorem, the Fisher-Neyman factorization theorem is just one application of the Doob-Dynkin lemma and the chain rule for Radon-Nikodym derivatives away!

Halmos-Savage Theorem. Let (X,B,P)(X,B,P) be a dominated statistical model (meaning that PP is a set of probability measures on BB and there is a σσ-finite measure μ on B such that Pμ for all PP). Let T:(X,B)(T,C) be a measurable function, where (T,C) is a standard Borel space. Then the following are equivalent:

  1. T is sufficient for P (meaning that there is a probability kernel r:B×T[0,1] such that r(B,T) is a version of P(BT) for all BB and PP).
  2. There exists a sequence {ci}i=1 of nonnegative numbers such that i=1ci=1 and a sequence {Pi}i=1 of probability measures in P such that PP for all PP, where P=i=1ciPi, and for each PP there exists a T-measurable version of dP/dP.

Proof. By the lemma above, we may immediately replace μ by P=i=1ciPi for some sequence {ci}i=1 of nonnegative numbers such that i=1ci=1 and a sequence {Pi}i=1 of probability measures in P.

(1. implies 2.) Suppose T is sufficient. Then we must show that there are T-measurable versions of dP/dP for all PP. Let r be the probability kernel in the statement of the theorem. For each Aσ(T) and BB we have P(AB)=i=1ciPi(AB)=i=1ciAPi(BT)dPi=i=1ciAr(B,T)dPi=Ar(B,T)dP.

Thus r(B,T) is a version of P(BT) for all BB.

For each PP, let fP denote a version of the Radon-Nikodym derivative dP/dP on the measurable space (X,σ(T)) (so in particular fP is T-measurable). Then for all BB and PP we have P(B)=XP(BT)dP=Xr(B,T)dP=Xr(B,T)fPdP=XP(BT)fPdP=XEP[1BfPT]dP=BfPdP.

Thus in fact fP is a T-measurable version of dP/dP on (X,B). This proves that the first condition of the theorem implies the second.

(2. implies 1.) Suppose one can choose a T-measurable version fP of dP/dP for each PP. For each BB, let r(B,t) denote a particular version of P(BT=t) (e.g., r(B,t) is a function such that r(B,T) is a version of P(BT)). Since (T,C) is a standard Borel space, we may choose r in a way that makes it a probability kernel (see, e.g., Theorem B.32 in Schervish's Theory of Statistics (1995)). We will show that r(B,T) is a version of P(BT) for any PP and any BB. Thus, let Aσ(T) and BB be given. Then for all PP we have P(AB)=A1BfPdP=AEP[1BfPT]dP=AP(BT)fPdP=Ar(B,T)fPdP=Ar(B,T)dP.

This shows that r(B,T) is a version of P(BT) for any PP and any BB, and the proof is done.

Summary. The important technical result underlying the Halmos-Savage theorem as presented here is the fact that a dominated family of probability measures is actually dominated by a countable convex combination of probability measures from that family. Given that result, the rest of the Halmos-Savage theorem is mostly just manipulations with basic properties of Radon-Nikodym derivatives and conditional expectations.

Artem Mavrin
quelle