Endlicher ter Moment für einen Zufallsvektor

Wenn , wo die Unterstützung von ist . Also ist . Dann nehme ich an, hat endliche Momente. Wenn , weiß ich, dass dies wobei die zugehörige Dichte von . Was die mathematische Äquivalent davon hat endliche Momente , wenn ? $X \sim F$ $X$ $\mathbb{R}^p$ $X = (X_1, X_2, \dots, X_p)$ $X$ $k$ $p = 1$

\int_{R} x^{k} f (x) d x < \infty,

$\int_{\mathbb{R}} x^k\, f(x)\, dx < \infty,$

f (x)

$f(x)$

F

$F$

X

$X$

k

$k$

p > 1

$p > 1$

In diesem Link auf Seite 2 definieren die Autoren den ten Moment als wobei ist die euklidische Norm. $k$

E ‖ X ‖^{k} = \int ‖ X ‖^{k} f (x) d x,

$E\|X\|^k = \int \|X\|^k f(x) \, dx,$

‖ \cdot ‖

$\| \cdot\|$

Die Antwort von Glen_b hier legt nahe, dass der $k$ te Moment

\int x_{1}^{k} x_{2}^{k} \dots x_{p}^{k} f (x) d x .

$\int x_1^kx_2^k \dots x_p^k \, f(x) dx.$

Bedeutet die Annahme, dass einer endlich ist, dass der andere endlich ist?

probability random-variable expected-value moments Greenparker
quelle

Haben Sie gesehen, dass diese Sprache irgendwo für

p > 1

$p>1$ ? Im Wesentlichen für

p > 1

$p>1$ die Momente Tensoren

k_{t h}

$k_{th}$ Ordnung. Für

k = 1

$k=1$ Sie also einen mittleren Vektor, für

k = 2

$k=2$ Sie eine (Co-)

, für

k = 3

$k=3$ Sie einen "

3_{r d}

$3_{rd}$ " -Tensor

Ordnung und so weiter. (Angenommene Momente über den Mittelwert für

k > 1

$k>1$ )

GeoMatt22

@ GeoMatt22 Das ist richtig. Ja, ich habe die verwendete Sprache gesehen. Zum Beispiel sprechen sie hier über endliche Momente eines Zufallsvektors.

2 + δ

$2 + \delta$

Greenparker

Vielleicht wäre die Bedeutung, dass alle Einträge des Momententensors endlich sind?

GeoMatt22

@ Greenparker könnten Sie diese Passage im Text zitieren? Kann es nicht finden.

Ekvall

@ Student001 Ups sorry, falscher Link. Hier ist der richtige Link. Schauen Sie sich die Aussage von Satz 4, Seite 6 an.

Greenparker

Antworten:

Die Antwort ist negativ, aber das Problem kann behoben werden.

Um zu sehen, was schief geht, lassen Sie eine Student t-Verteilung mit zwei Freiheitsgraden haben. Seine hervorstechenden Eigenschaften sind, dass endlich ist, aber . Betrachten Sie die bivariate Verteilung von . Sei sein Verteilungselement (das singulär ist: es wird nur auf der Diagonale ). Entlang der Diagonale ist , woher $X$ $\mathbb{E}(|X|)$ $\mathbb{E}(|X|^2)=\infty$ $(X,X)$ $f(x,y)dxdy$ $x=y$ $||(x,y)||=|x|\sqrt{2}$

E (| | (X, X) | |^{1}) = E (\sqrt{2} | X |) < \infty

$\mathbb{E}\left(||(X,X)||^1\right) = \mathbb{E}\left(\sqrt{2}|X|\right) \lt \infty$

wohingegen

\iint x^{1} y^{1} f (x, y) d x d y = \int x^{2} f (x, x) d x = \infty .

$\iint x^1 y^1 f(x,y) dx dy = \int x^2 f(x,x) dx = \infty.$

Analoge Berechnungen in Dimensionen sollten , dass $p$

\int \dots \int | x_{1} |^{k} | x_{2} |^{k} \dots | x_{p} |^{k} f (x_{1}, \dots, x_{p}) d x_{1} \dots d x_{p}

$\int\cdots\int |x_1|^k|x_2|^k\cdots |x_p|^k f(x_1,\ldots, x_p)dx_1\cdots dx_p$

ist wirklich ein Moment der Ordnung , nicht . Weitere Informationen zu multivariaten Momenten finden Sie unter Sei ein Zufallsvektor. Werden te Momente von berücksichtigt? . $pk$ $k$ $\mathbf{Y}$ $k$ $\mathbf{Y}$

Um herauszufinden, welche Beziehungen zwischen den multivariaten Momenten und den Momenten der Norm bestehen sollten, benötigen wir zwei Ungleichungen. Sei ein beliebiger dimensionaler Vektor und sei positive Zahlen. Schreiben Sie für ihre Summe (was für alle impliziert ). Sei eine beliebige positive Zahl (in der Anwendung ist für die euklidische Norm, aber es stellt sich heraus, dass der Wert nichts Besonderes ist ). Schreiben Sie wie üblich $x=(x_1, \ldots, x_p)$ $p$ $k_1, k_2, \ldots, k_p$ $k=k_1+k_2+\cdots k_p$ $k_i/k \le 1$ $i$ $q \gt 0$ $q=2$ $2$

| | x | |_{q} = {(\sum_{i} | x_{i} |^{q})}^{1 / q} .

$||x||_q = \left(\sum_i |x_i|^q\right)^{1/q}.$

Wenden wir zunächst die AM-GM-Ungleichung auf die nicht negativen Zahlen mit den Gewichten . Dies besagt, dass das gewichtete geometrische Mittel das gewichtete arithmetische Mittel nicht überschreiten kann: $|x_i|^q$ $k_i$

{(\prod_{i} (| x_{i} |^{q})^{k_{i}})}^{1 / k} \leq \frac{1}{k} \sum_{i} k_{i} | x_{i} |^{q} .

$\left(\prod_i (|x_i|^q)^{k_i}\right)^{1/k} \le \frac{1}{k}\sum_i k_i|x_i|^q.$

Überschätzen Sie die rechte Seite, indem Sie jedes durch ersetzen und die Potenz beider Seiten nutzen: $k_i/k$ $1$ $k/q$

\begin{matrix} (1) & \prod_{i} | x_{i} |^{k_{i}} = {({(\prod_{i} (| x_{i} |^{q})^{k_{i}})}^{1 / k})}^{k / q} \leq {(\sum_{i} | x_{i} |^{q})}^{k / q} = | | x | |_{q}^{k} . \end{matrix}

$\prod_i |x_i|^{k_i} = \left(\left(\prod_i (|x_i|^q)^{k_i}\right)^{1/k}\right)^{k/q} \le \left(\sum_i |x_i|^q\right)^{k/q} = ||x||_q^k.\tag{1}$

Überschätzen wir nun indem wir jeden Term durch den größten unter ihnen ersetzen , : $||x||_q$ $|x_i|^q$ $\max(|x_i|^q) = \max(|x_i|)^q$

| | x | |_{q} \leq {(\sum_{i} max (| x_{i} |^{q}))}^{1 / q} = {(p max (| x_{i} |)^{q})}^{1 / q} = p^{1 / q} max (| x_{i} |) .

$||x||_q \le \left(\sum_i \max(|x_i|^q)\right)^{1/q} = \left(p \max(|x_i|)^q\right)^{1/q} = p^{1/q} \max(|x_i|).$

Wenn man Potenzen nimmt, ergibt sich $k^\text{th}$

\begin{matrix} (2) & | | x | |_{q}^{k} \leq p^{k / q} max (| x_{i} |^{k}) \leq p^{k / q} \sum_{i} | x_{i} |^{k} . \end{matrix}

$||x||_q^k \le p^{k/q} \max(|x_i|^k) \le p^{k/q} \sum_i |x_i|^k.\tag{2}$

Schreiben Sie als Notation

μ (k_{1}, k_{2}, \dots, k_{p}) = \int \dots \int | x_{1} |^{k_{1}} | x_{2} |^{k_{2}} \dots | x_{p} |^{k_{p}} f (x) d x .

$\mu(k_1,k_2,\ldots,k_p) = \int\cdots \int |x_1|^{k_1}|x_2|^{k_2}\cdots|x_p|^{k_p} f(x)\,dx.$

Dies ist der Moment der Ordnung $(k_1,k_2,\ldots,k_p)$ (und die Gesamtreihenfolge ). Durch die Integration gegen wird Ungleichung hergestellt $k$ $f$ $(1)$

\begin{matrix} (3) & μ (k_{1}, \dots, k_{p}) \leq \int \dots \int | | x | |_{q}^{k} f (x) d x = E (| | X | |_{q}^{k}) \end{matrix}

$\mu(k_1,\ldots,k_p) \le \int\cdots\int ||x||_q^k f(x)\,dx = \mathbb{E}(||X||_q^{k})\tag{3}$

und Ungleichung ergibt $(2)$

\begin{matrix} (4) & E (| | X | |_{q}^{k}) \leq p^{k / q} (μ (k, 0, \dots, 0) + μ (0, k, 0, \dots, 0) + \dots + μ (0, \dots, 0, k)) . \end{matrix}

$\mathbb{E}(||X||_q^{k})\le p^{k/q}\left(\mu(k,0,\ldots,0) + \mu(0,k,0,\ldots,0) + \cdots + \mu(0,\ldots,0,k)\right).\tag{4}$

Seine rechte Seite ist bis zu einem konstanten Vielfachen die Summe der univariaten Momente. Zusammen und zeigen $k^\text{th}$ $(3)$ $(4)$

Die Endlichkeit aller univariaten Momente impliziert die Endlichkeit von . $k^\text{th}$ $\mathbb{E}(||X||_q^{k})$
Die Endlichkeit von impliziert die Endlichkeit aller für die . $\mathbb{E}(||X||_q^{k})$ $\mu(k_1,\ldots,k_p)$ $k_1+\cdots +k_p=k$

Tatsächlich kombinieren diese beiden Schlussfolgerungen als Syllogismus zu zeigen , dass die Endlichkeit der univariaten Momente der Ordnung Endlichkeit aller multivariate Momente der Ordnung impliziert . $k$ $k$

Somit,

Für alle ist der Moment der Norm genau dann endlich, wenn alle Momente der sind endlich. $q \gt 0$ $k^\text{th}$ $L_q$ $\mathbb{E}(||X||_q^{k})$ $k$

whuber
quelle

Höhere Momente sollten als Tensoren und damit als Tensornormen betrachtet werden.

Henry.L

@Henry Könnten Sie näher erläutern, wie und warum dies in diesem Thread eine zutreffende Überlegung wäre?

whuber

Hallo, bitte sehen Sie meine Antwort unten.

Henry.L

Die Antwort von @whuber ist richtig und gut komponiert.

Ich habe diesen Thread nur geschrieben, um herauszufinden, warum ein solches Problem in der Sprache der Tensoren besser angegangen werden kann. Früher dachte ich, dass der Tensor-Standpunkt in der Statistik-Community weithin akzeptiert wird, jetzt weiß ich, dass dies nicht der Fall ist.

In den Seiten 46-47 von [McCullagh] erklärte er, wie wir Momente als Tensoren betrachten könnten. Ich erklärte es im Grunde nach seinen Worten. Sei ein Zufallsvektor, und wir können seine (zentralen) Momente diskutieren . Und wenn wir affine Transformationen (äquivalent können wir es in Matrixnotation schreiben in die Wahrscheinlichkeitsraum, so ist die sich ergebende (zentrale) Moment ist $\boldsymbol{X}=(X_{1},\cdots X_{p})$ $\kappa^{i,j}=E(X_{i}-EX_{i})(X_{j}-EX_{j})$ $Y_{r}=\boldsymbol{A}_{r}\boldsymbol{X}+b_{r}$ $\boldsymbol{Y=AX+b})$ $Y_{r},Y_{s}$

κ^{r, s} = \frac{\partial Y_{r}}{\partial X_{i}} \frac{\partial Y_{s}}{\partial X_{j}} κ^{i, j}

$\kappa^{r,s}=\frac{\partial Y_{r}}{\partial X_{i}}\frac{\partial Y_{s}}{\partial X_{j}}\kappa^{i,j}$ durch Transformationsformel. Der Moment verhält sich also wie ein (0,1) kontravarianter Tensor. Wenn wir eine solche Tensoransicht akzeptieren, können die -Norm / die Momente einer Zufallsvariablen als Tensornorm behandelt werden. Tatsächlich bindet die Multi-Index-Tensornorm der höchsten Ordnung nicht notwendigerweise die Multi-Index-Tensornorm der niedrigeren Ordnung. Da der Tensor nun durch Differentialoperatoren erster Ordnung gegeben ist, kommt die Sobolev-Tensornorm natürlich ins Spiel, z. B. in Wavelets. Und es gibt viele Gegenbeispiele, dass die Norm höchster Ordnung in Sobolev-Besov-Räumen keine Normen niedrigerer Ordnung bindet. ( MO Post )

L^{p}

$L^{p}$

Was den Grund betrifft, warum wir eine solche Ansicht vertreten sollten, ist die Geschichte viel länger, aber es folgt ein kurzer Kommentar.

Die klassische Referenz bei der Etablierung dieser Ansicht ist [McCullagh] und später verstreute Werke in der Literatur zum "maschinellen Lernen". Aber der Ursprung einer solchen Ansicht wird tatsächlich viel früher in den Werken des Bayesian [Jeffereys] verfolgt. Eine solche Ansicht hilft definitiv bei der Visualisierung und hat wahrscheinlich einige Forschungen zur statistischen Formanalyse wie die frühen Arbeiten von Mardia motiviert.

$\blacksquare$ Referenz

[McCullagh] http://www.stat.uchicago.edu/~pmcc/tensorbook/ch1.pdf

[Jeffreys] Jeffreys, Harold. Kartesische Tensoren. Cambridge University Press, 1931.

Henry.L
quelle