Wie können wir die Wahrscheinlichkeit begrenzen, dass eine Zufallsvariable maximal ist?

$\newcommand{\P}{\mathbb{P}}$ Angenommen, wir haben unabhängige Zufallsvariablen , , mit endlichen Mitteln und Varianzen , , . Ich suche nach verteilungsfreien Grenzen für die Wahrscheinlichkeit, dass größer ist als alle anderen , . $N$ $X_1$ $\ldots$ $X_n$ $\mu_1 \leq \ldots \leq \mu_N$ $\sigma_1^2$ $\ldots$ $\sigma_N^2$ $X_i \neq X_N$ $X_j$ $j \neq i$

Mit anderen Worten, wenn wir der Einfachheit halber annehmen, dass die Verteilungen von stetig sind (so dass ), suche ich nach Grenzen für: Wenn , können wir Chebyshevs Ungleichung verwenden, um zu erhalten: Ich würde gerne ein paar einfache (nicht unbedingt enge) Grenzen für allgemeines , aber ich war nicht in der Lage, (ästhetisch) ansprechende Ergebnisse für allgemeines . $X_i$ $\P(X_i = X_j) = 0$

P (X_{i} = max_{j} X_{j}) .

$\P( X_i = \max_j X_j ) \enspace.$

N = 2

$N=2$

P (X_{1} = max_{j} X_{j}) = P (X_{1} > X_{2}) \leq \frac{σ_{1}^{2} + σ_{2}^{2}}{σ_{1}^{2} + σ_{2}^{2} + (μ_{1} - μ_{2})^{2}} .

$\P(X_1 = \max_j X_j) = \P(X_1 > X_2) \leq \frac{\sigma_1^2 + \sigma_2^2}{\sigma_1^2 + \sigma_2^2 + (\mu_1 - \mu_2)^2} \enspace.$

N

$N$

N

$N$

Bitte beachten Sie, dass die Variablen nicht als iid angenommen werden. Anregungen oder Hinweise auf verwandte Arbeiten sind willkommen.

Update: daran, dass $\mu_j \geq \mu_i$ . Wir können dann die obige Schranke verwenden, um zu kommen:

P (X_{i} = max_{j} X_{j}) \leq min_{j > i} \frac{σ_{i}^{2} + σ_{j}^{2}}{σ_{i}^{2} + σ_{j}^{2} + (μ_{j} - μ_{i})^{2}} \leq \frac{σ_{i}^{2} + σ_{N}^{2}}{σ_{i}^{2} + σ_{N}^{2} + (μ_{N} - μ_{i})^{2}} .

$\P(X_i = \max_j X_j) \leq \min_{j > i} \frac{\sigma_i^2 + \sigma_j^2}{\sigma_i^2 + \sigma_j^2 + (\mu_j - \mu_i)^2} \leq \frac{\sigma_i^2 + \sigma_N^2}{\sigma_i^2 + \sigma_N^2 + (\mu_N - \mu_i)^2} \enspace.$ Dies impliziert:

(μ_{N} - μ_{i}) P (X_{i} = max_{j} X_{j}) \leq (μ_{N} - μ_{i}) \frac{σ_{i}^{2} + σ_{N}^{2}}{σ_{i}^{2} + σ_{N}^{2} + (μ_{N} - μ_{i})^{2}} \leq \frac{1}{2} \sqrt{σ_{i}^{2} + σ_{N}^{2}} .

$( \mu_N - \mu_i ) \P( X_i = \max_j X_j ) \leq (\mu_N - \mu_i) \frac{\sigma_i^2 + \sigma_N^2}{\sigma_i^2 + \sigma_N^2 + (\mu_N - \mu_i)^2} \leq \frac{1}{2} \sqrt{ \sigma_i^2 + \sigma_N^2 } \enspace.$ Dies impliziert wiederum:

\sum_{i = 1}^{N} μ_{i} P (X_{i} = max_{j} X_{j}) \geq μ_{N} - \frac{N}{2} \sqrt{\sum_{i = 1}^{N - 1} (σ_{i}^{2} + σ_{N}^{2})} .

$\sum_{i=1}^N \mu_i \P( X_i = \max_j X_j ) \geq \mu_N - \frac{N}{2} \sqrt{ \sum_{i=1}^{N-1} (\sigma_i^2 + \sigma_N^2) } \enspace.$ Ich frage mich jetzt, ob diese Schranke zu etwas verbessert werden kann, das nicht linear von

abhängt

N

$N$ . Zum Beispiel gilt Folgendes:

\sum_{i = 1}^{N} μ_{i} P (X_{i} = max_{j} X_{j}) \geq μ_{N} - \sqrt{\sum_{i = 1}^{N} σ_{i}^{2}} ?

$\sum_{i=1}^N \mu_i \P( X_i = \max_j X_j ) \geq \mu_N - \sqrt{ \sum_{i=1}^N \sigma_i^2 } \enspace?$ Und wenn nicht, was könnte ein Gegenbeispiel sein?

probability bounds maximum MLS
quelle

Diese Grenze kann enger sein, wenn Sie den Index , der Ihnen die kleinere obere Grenze anstelle von . Beachten Sie, dass dieser Wert sowohl vom Mittelwert als auch von der Varianz abhängt.

j

$j$

N

$N$

@MichaelChernick: Ich glaube nicht, dass das richtig ist. Nehmen wir zum Beispiel an, wir haben drei Gleichverteilungen für . Dann, wenn ich mich nicht irre, ist

[0, 1]

$[0,1]$

P (X_{1} < max_{j} X_{j}) = 2 / 3

$P( X_1 < \max_j X_j ) = 2/3$ , wohingegen . Ich weiß nicht, ob Sie schreiben , aber dasselbe Beispiel zeigt, dass es immer noch nicht gültig ist.

P (X_{1} < X_{2}) = P (X_{1} < X_{3}) = 1 / 2

$P(X_1 < X_2) = P(X_1 < X_3) = 1/2$

P (X_{i} > max_{j} X_{j})

$P( X_i > \max_j X_j )$

MLS

@Michael: Das stimmt leider immer noch nicht. Die Ereignisse für festes sind nicht unabhängig.

A_{j} = {X_{i} > X_{j}}

$A_j = \{X_i > X_j\}$

i

$i$

Kardinal

@ Cardinal: Unter anderem handelt es sich um mehrarmige Banditen. Wenn Sie einen Arm basierend auf vorherigen Belohnungen auswählen, wie groß ist die Wahrscheinlichkeit, dass Sie den besten Arm ausgewählt haben (das wäre in der obigen Notation), und können wir den erwarteten Verlust für die Auswahl eines Sub- begrenzen -optimaler Arm?

P (X_{N} = max_{j} X_{j})

$P(X_N = \max_j X_j)$

MLS

Crossposted zu MathOverflow: mathoverflow.net/questions/99313

Kardinal

Antworten:

Sie können die multivariate Chebyshev-Ungleichung verwenden.

Fall mit zwei Variablen

Für eine einzelne Situation, vs , komme ich zur gleichen Situation wie Jochens Kommentar am 4. November 2016 $X_1$ $X_2$

1) Wenn dann $\mu_1 < \mu_2$ $P(X_1>X_2) \leq (\sigma_1^2 + \sigma_2^2)/(\mu_1-\mu_2)^2$

(Und ich frage mich auch über Ihre Ableitung)

Herleitung von Gleichung 1

mit der neuen Variablen $X_1-X_2$
Transformiere es so, dass es den Mittelwert bei Null hat
den absoluten Wert nehmen
Anwendung der Ungleichung von Chebyshev

\begin{matrix} P (X_{1} > X_{2}) & = P (X_{1} - X_{2} > 0) \\ = P (X_{1} - X_{2} - (μ_{1} - μ_{2}) > - (μ_{1} - μ_{2})) \\ \leq P (| X_{1} - X_{2} - (μ_{1} - μ_{2}) | > μ_{2} - μ_{1}) \\ \leq \frac{σ_{(X_{1} - X_{2} - (μ_{1} - μ_{2}))}^{2}}{(μ_{2} - μ_{1})^{2}} = \frac{σ_{X_{1}}^{2} + σ_{X_{2}}^{2}}{(μ_{2} - μ_{1})^{2}} \end{matrix}

$\begin{array} \\ P \left( X_1 > X_2 \right) &= P \left( X_1 - X_2 > 0 \right)\\ &= P\left( X_1 - X_2 - (\mu_1 - \mu_2) > - (\mu_1 - \mu_2)\right) \\ &\leq P\left( \vert X_1 - X_2 - (\mu_1 - \mu_2) \vert > \mu_2 - \mu_1\right) \\ &\leq \frac{\sigma_{(X_1-X_2- (\mu_1 - \mu_2))}^2}{(\mu_2 - \mu_1)^2} = \frac{\sigma_{X_1}^2+\sigma_{X_2}^2}{(\mu_2 - \mu_1)^2}\\ \end{array}$

Multivariater Fall

Die Ungleichung in Gleichung (1) kann durch Anwenden auf mehrere transformierte Variablen für jedes in einen multivariaten Fall geändert werden (beachte, dass diese korreliert sind). $(X_n-X_i)$ $i<n$

Eine Lösung für dieses Problem (multivariat und korreliert) wurde von I. Olkin und JW Pratt beschrieben. 'A Multivariate Tchebycheff Inequality' in den Annals of Mathematical Statistics, Band 29, Seiten 226-234 http://projecteuclid.org/euclid.aoms/1177706720

Beachten Sie den Satz 2.3

$P(\vert y_i \vert \geq k_i \sigma_i \text{ for some } i) = P(\vert x_i \vert \geq 1 \text{ for some } i) \leq \frac{(\sqrt{u} + \sqrt{(pt-u)(p-1)})^2}{p^2}$

in welcher die Anzahl der Variablen ist, und . $p$ $t=\sum k_i^{-2}$ $u=\sum \rho_{ij}/(k_ik_j)$

Satz 3.6 liefert eine engere Grenze, ist jedoch weniger einfach zu berechnen.

Bearbeiten

Mit der multivariaten Cantelli-Ungleichung kann eine schärfere Grenze gefunden werden . Dass die Ungleichheit ist die Art , die man verwendete , vor und vorausgesetzt Sie mit der Grenze die ist , schärfer als . $(\sigma_1^2 + \sigma_2^2)/(\sigma_1^2 + \sigma_2^2 + (\mu_1-\mu_2)^2)$ $(\sigma_1^2 + \sigma_2^2)/(\mu_1-\mu_2)^2$

Ich habe mir nicht die Zeit genommen, den gesamten Artikel zu studieren, aber trotzdem können Sie hier eine Lösung finden:

AW Marshall und I. Olkin "Eine einseitige Ungleichung des Chebyshev-Typs" in Annals of Mathematical Statistics, Band 31, Seiten 488-491 https://projecteuclid.org/euclid.aoms/1177705913

(späterer Hinweis: Diese Ungleichung ist für gleiche Korrelationen und nicht ausreichend hilfreich. Aber Ihr Problem, die schärfste Grenze zu finden, ist auf jeden Fall gleich der allgemeineren multivariaten Cantelli-Ungleichung. Ich wäre überrascht, wenn die Lösung nicht existiert.)

Sextus Empiricus
quelle

Können Sie eine klare Aussage zur multivariaten Chebyshev-Ungleichung machen?

Whuber

Ich habe die Lösung mit dem gesamten Theorem überarbeitet.

Sextus Empiricus

-1

Ich habe einen Satz gefunden, der Ihnen helfen könnte und der versucht, ihn an Ihre Bedürfnisse anzupassen. Angenommen, Sie haben:

e x p (t \cdot E (\underset{1 \leq i \leq n}{m a x} X_{i}))

$exp(t \cdot \mathbf{E}(\underset{1 \leq i \leq n}{max}X_{i}))$

Dann erhalten wir durch Jensens Ungleichung (da exp (.) Eine konvexe Funktion ist):

e x p (t \cdot E (\underset{1 \leq i \leq n}{m a x} X_{i})) \leq E (e x p (t \cdot \underset{1 \leq i \leq n}{m a x} X_{i})) = E (\underset{1 \leq i \leq n}{m a x} e x p (t \cdot X_{i})) \leq \sum_{i = 1}^{n} E (e x p (t \cdot X_{i})

$exp(t \cdot \mathbf{E}(\underset{1 \leq i \leq n}{max}X_{i})) \leq \mathbf{E}(exp( t \cdot \underset{1 \leq i \leq n}{max}X_{i})) = \mathbf{E}( \underset{1 \leq i \leq n}{max} \text{ }exp( t \cdot X_{i})) \leq \sum_{i=1}^{n} \mathbf{E} (exp(t \cdot X_{i})$

Nun müssen Sie für die momentane Erzeugungsfunktion Ihrer Zufallsvariablen einstecken (da dies nur die Definition der mgf ist) Vereinfachen Sie Ihren Begriff), nehmen Sie diesen Begriff und nehmen das Protokoll und dividieren Sie es durch t, so dass Sie eine Aussage über den Begriff . Dann können Sie t mit einem beliebigen Wert auswählen (am besten, damit der Term klein ist und die Schranke eng ist). $exp(t \cdot X_{i}$ $X_{i}$ $\mathbf{E}(\underset{1 \leq i \leq n}{max}X_{i})$

Dann haben Sie eine Aussage über den erwarteten Wert des Maximums über n rvs. Um nun eine Aussage über die Wahrscheinlichkeit zu erhalten, dass das Maximum dieser rvs von diesem erwarteten Wert abweicht, können Sie einfach Markovs Ungleichung verwenden (vorausgesetzt, Ihr rv ist nicht negativ) oder ein anderes, spezifischeres rv, das auf Ihr bestimmtes rv zutrifft.

Fabian Falck
quelle