Konstruktionsbeispiel mit

12

Wie konstruiere ich ein Beispiel für eine Wahrscheinlichkeitsverteilung, für die E ( 1X )=1E ( X )E(1X)=1E(X) gilt unter der Annahme, dassP(X0)=1P(X0)=1?

Die Ungleichung, die sich aus Jensens Ungleichung für ein positiv bewertetes Wohnmobil ergibt XX ergibt, ist wie E ( 1X )1E ( X )E(1X)1E(X) (die umgekehrte Ungleichung, wennX < 0 istX<0 ). Dies liegt daran, dass die Abbildung x x 1 istxx1x ist fürx>0x>0konvexund fürx<0x<0konkav. Nach der Gleichheitsbedingung in Jensens Ungleichung muss die Verteilung vermutlich entartet sein, damit die erforderliche Gleichheit erhalten bleibt. Ein trivialer Falldem die Gleichheit ist natürlich giltwennX=1X=1ae Hierein Beispieldas ich in einem Problem Buch gefunden: eine diskrete Zufallsvariable BetrachtenXXso dassP(X=-1)=19 ,P(X=12 )=P(X=2)=49P(X=1)=19,P(X=12)=P(X=2)=49 . Es ist dann leicht zu verifizieren, dassE(1X )=1E ( X ) =1E(1X)=1E(X)=1.

Dieses Beispiel zeigt, dass XX nicht positiv (oder negativ) sein muss, damit die Gleichheit im Titel erhalten bleibt. Auch hier ist die Verteilung nicht entartet.

Wie konstruiere ich ein Beispiel, wie ich es möglicherweise im Buch gefunden habe? Gibt es eine Motivation?

HartnäckigAtom
quelle
Ihr Beispiel gilt für jede Zufallsvariable, die eine Konstante ungleich Null ist. Auch Ihr zweites Beispiel ist nicht entartet.
Michael R. Chernick
3
Die Ungleichung folgt nicht aus Jensens Ungleichung, ohne weiter anzunehmen, dass X mit ziemlicher Sicherheit positiv ist. X
whuber
@MichaelChernick Ich wollte nicht sagen, dass das Beispiel eine entartete Verteilung hatte.
StubbornAtom
Ich bezog mich auf Ihre Aussage: "Nach der Gleichheitsbedingung in Jensens Ungleichung muss die Verteilung entartet sein, damit die erforderliche Gleichheit erhalten bleibt." Dennoch haben Sie ein nicht entartetes Beispiel gezeigt.
Michael R. Chernick
1
@whuber Ich möchte einfach nur wissen, wie man ein Beispiel findet, bei dem die Gleichheit im Titel wahr ist.
StubbornAtom

Antworten:

18

Konstruieren wir alle möglichen Beispiele für Zufallsvariablen X, für die E [ X ] E [ 1 / X ] = 1 ist . Dann können wir unter ihnen einigen Heuristiken folgen, um ein möglichst einfaches Beispiel zu erhalten. Diese Heuristiken bestehen darin, allen Ausdrücken, die aus einer vorläufigen Analyse herausfallen, möglichst einfache Werte zu geben. Dies stellt sich als Lehrbuchbeispiel heraus.XE[X]E[1/X]=1

Voruntersuchung

Dies erfordert nur ein wenig Analyse basierend auf Definitionen. Die Lösung ist nur von zweitrangigem Interesse: Das Hauptziel besteht darin, Erkenntnisse zu entwickeln, die uns helfen, die Ergebnisse intuitiv zu verstehen.

Zunächst beobachtet , dass Jensen-Ungleichung (oder das Cauchy-Schwarz Inequality) bedeutet , dass für eine positive Zufallsvariable X , E [ X ] E [ 1 / X ] 1 , mit Gleichheit Halt , wenn und nur wenn X ist "entartet": Das ist , X ist fast sicher konstant. Wenn X eine negative Zufallsvariable ist, ist - X positiv und das vorhergehende Ergebnis gilt mit umgekehrtem Ungleichheitszeichen. Folglich ist jedes Beispiel, in dem E [ 1 / X ] = 1 /XE[X]E[1/X]1XXXX E[ X ] muss eine positive Wahrscheinlichkeit haben, negativ zu sein, und eine positive Wahrscheinlichkeit, positiv zu sein.E[1/X]=1/E[X]

Die Einsicht hier ist, dass jedes X mit E [ X ] E [ 1 / X ] = 1 irgendwie die Ungleichung von seinem positiven Teil gegen die Ungleichung in der anderen Richtung von seinem negativen Teil "balancieren" muss. Dies wird im weiteren Verlauf klarer.XE[X]E[1/X]=1

Betrachten Sie eine beliebige Zufallsvariable X ungleich Null . Ein erster Schritt bei der Formulierung einer Definition der Erwartung (zumindest wenn dies in voller Allgemeinheit unter Verwendung der Maßtheorie erfolgt) ist die Zerlegung von X in seine positiven und negativen Teile, die beide positive Zufallsvariablen sind:XX

Y = positiver Teil ( X ) = max ( 0 , X ) ; Z = negativer Teil ( X ) = - min ( 0 , X ) .

YZ=Positive part(X)=max(0,X);=Negative part(X)=min(0,X).

Stellen wir uns X als eine Mischung aus Y mit Gewicht p und - Z mit Gewicht 1 - p vor, wobei p = Pr ( X > 0 ) , 1 - p = Pr ( X < 0 ) . Offensichtlich 0 < p < 1. Dies ermöglicht es uns, Erwartungen von X und 1 / X zu schreibenXYpZ1p 

p=Pr(X>0), 1p=Pr(X<0).
0<p<1.
X1/Xin Bezug auf die Erwartungen der positiven Variablen Y und Z .YZ

Um die bevorstehende Algebra ein wenig Notiz zu vereinfachen , dass einheitlich rescaling X durch eine Zahl σ nicht ändert E [ X ] E [ 1 / X ] --Aber tut es mehrfach E [ Y ] und E [ Z ] jeweils von σ . Für positive σ ergibt dies einfach die Maßeinheiten der Auswahl X . Eine negative σ schaltet die Rollen von Y und Z . Das Vorzeichen von σ wählenXσE[X]E[1/X]E[Y]E[Z]σσXσYZσin geeigneter Weise können wir daher annehmen, dass E [ Z ] = 1  und  E [ Y ] E [ Z ] .

E[Z]=1 and E[Y]E[Z].(1)

Notation

Das war es für vorläufige Vereinfachungen. Um eine schöne Notation zu erstellen, lassen Sie uns deshalb schreiben

μ = E [ Y ] ; ν = E [ 1 / Y ] ; λ = E [ 1 / Z ]  

μ=E[Y]; ν=E[1/Y]; λ=E[1/Z]

Für die drei Erwartungen können wir nicht kontrollieren. Alle drei Größen sind positiv. Jensens Ungleichung behauptet

μ ν 1  und  λ 1.

μν1 and λ1.(2)

Das Gesetz der Gesamtwahrscheinlichkeit drückt die Erwartungen von X und 1 / X in Bezug auf die Mengen aus, die wir benannt haben:X1/X

E [ X ] = E [ X X > 0 ] Pr ( X > 0 ) + E [ X X < 0 ] Pr ( X < 0 ) = μ p - ( 1 - p ) = ( μ + 1 ) p - 1

E[X]=E[XX>0]Pr(X>0)+E[XX<0]Pr(X<0)=μp(1p)=(μ+1)p1

und, da 1 / X das gleiche Vorzeichen wie X hat ,1/XX

E [ 1X ]=E[1XX>0]Pr(X>0)+E[1X |X<0]Pr(X<0)=νp-λ(1-p)=(ν+λ)p-λ.

E[1X]=E[1XX>0]Pr(X>0)+E[1XX<0]Pr(X<0)=νpλ(1p)=(ν+λ)pλ.

Das Gleichsetzen des Produkts dieser beiden Ausdrücke mit 1 liefert eine wesentliche Beziehung zwischen den Variablen:1

1 = E [ X ] E [ 1X ]=((μ+1)p-1)((ν+λ)p-λ).

1=E[X]E[1X]=((μ+1)p1)((ν+λ)pλ).(*)

Neuformulierung des Problems

Suppose the parts of XX--YY and ZZ--are any positive random variables (degenerate or not). That determines μ,ν,μ,ν, and λλ. When can we find pp, with 0<p<10<p<1, for which ()() holds?

This clearly articulates the "balancing" insight previously stated only vaguely: we are going to hold YY and ZZ fixed and hope to find a value of pp that appropriately balances their relative contributions to XX. Although it's not immediately evident that such a pp need exist, what is clear is that it depends only on the moments E[Y]E[Y], E[1/Y]E[1/Y], E[Z]E[Z], and E[1/Z]E[1/Z]. The problem thereby is reduced to relatively simple algebra--all the analysis of random variables has been completed.

Solution

This algebraic problem isn't too hard to solve, because ()() is at worst a quadratic equation for pp and the governing inequalities (1)(1) and (2)(2) are relatively simple. Indeed, ()() tells us the product of its roots p1p1 and p2p2 is

p1p2=(λ1)1(μ+1)(ν+λ)0

p1p2=(λ1)1(μ+1)(ν+λ)0

and the sum is

p1+p2=(2λ+λμ+ν)1(μ+1)(ν+λ)>0.

p1+p2=(2λ+λμ+ν)1(μ+1)(ν+λ)>0.

Therefore both roots must be positive. Furthermore, their average is less than 11, because

1(p1+p2)2=λμ+ν+2μν2(μ+1)(ν+λ)>0.

1(p1+p2)2=λμ+ν+2μν2(μ+1)(ν+λ)>0.

(By doing a bit of algebra, it's not hard to show the larger of the two roots does not exceed 11, either.)

A Theorem

Here is what we have found:

Given any two positive random variables YY and ZZ (at least one of which is nondegenerate) for which E[Y]E[Y], E[1/Y]E[1/Y], E[Z]E[Z], and E[1/Z]E[1/Z] exist and are finite. Then there exist either one or two values pp, with 0<p<10<p<1, that determine a mixture variable XX with weight pp for YY and weight 1p1p for ZZ and for which E[X]E[1/X]=1E[X]E[1/X]=1. Every such instance of a random variable XX with E[X]E[1/X]=1E[X]E[1/X]=1 is of this form.

That gives us a rich set of examples indeed!


Constructing the Simplest Possible Example

Having characterized all examples, let's proceed to construct one that is as simple as possible.

  • For the negative part ZZ, let's choose a degenerate variable--the very simplest kind of random variable. It will be scaled to make its value 11, whence λ=1λ=1. The solution of ()() includes p1=0p1=0, reducing it to an easily solved linear equation: the only positive root is

    p=11+μ+11+ν.

    p=11+μ+11+ν.(3)
  • For the positive part YY, we obtain nothing useful if YY is degenerate, so let's give it some probability at just two distinct positive values a<ba<b, say Pr(X=b)=qPr(X=b)=q. In this case the definition of expectation gives

    μ=E[Y]=(1q)a+qb; ν=E[1/Y]=(1q)/a+q/b.

    μ=E[Y]=(1q)a+qb; ν=E[1/Y]=(1q)/a+q/b.
  • To make this even simpler, let's make YY and 1/Y1/Y identical: this forces q=1q=1/2q=1q=1/2 and a=1/ba=1/b. Now

    μ=ν=b+1/b2.

    μ=ν=b+1/b2.

    The solution (3)(3) simplifies to

    p=21+μ=42+b+1/b.

    p=21+μ=42+b+1/b.
  • How can we make this involve simple numbers? Since a<ba<b and ab=1ab=1, necessarily b>1b>1. Let's choose the simplest number greater than 11 for bb; namely, b=2b=2. The foregoing formula yields p=4/(2+2+1/2)=8/9p=4/(2+2+1/2)=8/9 and our candidate for the simplest possible example therefore is

    Pr(X=2)=Pr(X=b)=Pr(Y=b)p=qp=1289=49;Pr(X=1/2)=Pr(X=a)=Pr(Y=a)p=qp==49;Pr(X=1)=Pr(Z=1)(1p)=1p=19.

    Pr(X=2)=Pr(X=b)=Pr(Y=b)p=qp=1289=49;Pr(X=1/2)=Pr(X=a)=Pr(Y=a)p=qp==49;Pr(X=1)=Pr(Z=1)(1p)=1p=19.

This is the very example offered in the textbook.

whuber
quelle
2
Nice answer. Despite my initial scepticism it's easy to find an example with distinct solutions p(0,1)p(0,1).
P.Windridge
8

As you've mentioned, if XX is positive then E(1/X)=1/E(X)E(1/X)=1/E(X) occurs only when XX is almost surely constant. Otherwise you need XX to take both negative and positive values.

To construct such an example, first go as simple as possible. Assume XX takes two values, aa and bb, with probabilities pp and 1p1p respectively. Then E(X)=ap+b(1p)

E(X)=ap+b(1p)
and E(1/X)=1ap+1b(1p).
E(1/X)=1ap+1b(1p).
To have 1/E(X)=E(1/X)1/E(X)=E(1/X) we require ap+b(1p)=11ap+1b(1p)
ap+b(1p)=11ap+1b(1p)
which rearranges to the requirement (ab)2p(1p)=0.
(ab)2p(1p)=0.
This means the only possible solution must have either a=ba=b, or p=0p=0, or p=1p=1. In all cases we return to the degenerate case: XX is constant.

Next try: a distribution with three possible values. Here there are many more choices. The example you cited tries an XX such that 1/X1/X has the same distribution. If we know XX takes three values, it must be that one of the values is either 11 or 1, and the other two must be a and 1/a for some choice of a. For definiteness let's try P(X=a)=P(X=1/a)=p, and P(X=1)=12p. Then E(1/X)=E(X)=(a+1a)p(12p)=(2+a+1a)p1.

To meet the requirement 1/E(X)=E(1/X) we demand E(X)=1 or E(X)=1. Expression (1) is never 1 unless p=0, which returns us to the degenerate case again. So aim for E(X)=1, which gives (2+a+1a)p=2p=22+a+1a=2a(a+1)2.
Expression (2) gives an entire family of solutions that meet the requirement. The only constraint is that a must be positive. The example you cited takes a=2. Only the case a=1 is degenerate.
grand_chat
quelle
1
I assume your first line is intended to be "if X is positive then E[1/X]=1/E[X] occurs only when X is almost surely constant", like in the question. This drops out from (the proof of) Jensen's inequality, where we also use the fact that h(x)=1/x is not linear.
P.Windridge
@P.Windridge You are right! Fixed.
grand_chat