Wie man beweist, dass

Ich habe versucht, die Ungleichung festzustellen

$| T_{i} | = \frac{| X_{i} - \bar{X} |}{S} \leq \frac{n - 1}{\sqrt{n}}$ $\left| T_i \right|=\frac{\left|X_i -\bar{X} \right|}{S} \leq\frac{n-1}{\sqrt{n}}$

Dabei ist der Stichprobenmittelwert und die Standardabweichung der Stichprobe, dh . $\bar{X}$ $S$ $S=\sqrt{\frac{\sum_{i=1}^n \left( X_i -\bar{X} \right)^2}{n-1}}$

Es ist leicht zu erkennen, dass und so aber dies ist nicht sehr nahe an dem, wonach ich gesucht habe, und es ist auch keine nützliche Grenze. Ich habe mit den Cauchy-Schwarz- und den Dreiecksungleichungen experimentiert, bin aber nirgendwo hingegangen. Es muss einen subtilen Schritt geben, den ich irgendwo vermisse. Ich würde mich über Hilfe freuen, danke. $\sum_{i=1}^n T_i^2 = n-1$ $\left| T_i \right| < \sqrt{n-1}$

self-study descriptive-statistics bounds JohnK
quelle

Antworten:

Dies ist Samuelsons Ungleichung und benötigt das Zeichen. Wenn Sie die Wikipedia-Version nehmen und sie für die Definition von überarbeiten Sie feststellen, dass sie zu $\leq$ $n-1$ $S,$

\frac{| X_{i} - \bar{X} |}{S} \leq \frac{n - 1}{\sqrt{n}}

${{ \left| X_i-\bar X \right| } \over S} \leq {{n-1} \over \sqrt{n}}$

soakley
quelle

Es ist eine strikte Ungleichung im Buch, aber ich habe es behoben, danke.

JohnK

Nachdem das Problem durch Routineverfahren vereinfacht wurde, kann es gelöst werden, indem es in ein duales Minimierungsprogramm umgewandelt wird, das eine bekannte Antwort mit einem elementaren Beweis hat. Vielleicht ist diese Dualisierung der "subtile Schritt", auf den sich die Frage bezieht. Die Ungleichung kann auch rein mechanisch durch Maximierung von festgestellt werden über Lagrange-Multiplikatoren. $|T_i|$

Zunächst biete ich jedoch eine elegantere Lösung an, die auf der Geometrie der kleinsten Quadrate basiert. Es erfordert keine vorläufige Vereinfachung und ist fast unmittelbar und liefert eine direkte Intuition in das Ergebnis. Wie in der Frage vorgeschlagen, reduziert sich das Problem auf die Cauchy-Schwarz-Ungleichung.

Geometrische Lösung

Betrachten Sie als einen dimensionalen Vektor im euklidischen Raum mit dem üblichen Punktprodukt. Sei der Basisvektor und . Schreiben Sie und für die orthogonalen Projektionen von und in das orthogonale Komplement von . (In der statistischen Terminologie sind sie die Residuen in Bezug auf die .) Dann, da und $\mathbf{x} = (X_1, X_2, \ldots, X_n)$ $n$ $\mathbf{y} = (0,0,\ldots,0,1,0,\ldots,0)$ $i^\text{th}$ $\mathbf{1} = (1,1,\ldots, 1)$ $\mathbf{\hat x}$ $\mathbf{\hat y}$ $\mathbf{x}$ $\mathbf{y}$ $\mathbf{1}$ $X_i-\bar X = \mathbf{\hat x}\cdot \mathbf{y}$ $S = ||\mathbf{\hat x}||/\sqrt{n-1}$ ,

| T_{i} | = \sqrt{n - 1} \frac{| \hat{x} \cdot y |}{| | \hat{x} | |} = \sqrt{n - 1} \frac{| \hat{x} \cdot \hat{y} |}{| | \hat{x} | |}

$|T_i| = \sqrt{n-1}\frac{|\mathbf{\hat x} \cdot \mathbf{y}|}{||\mathbf{\hat x}||} = \sqrt{n-1}\frac{|\mathbf{\hat x} \cdot \mathbf{\hat y}|}{||\mathbf{\hat x}||}$

ist die Komponente von in der Richtung . Durch Cauchy-Schwarz wird es genau maximiert, wenn parallel zu , für die QED. $\mathbf{\hat y}$ $\mathbf{\hat x}$ $\mathbf{\hat x}$ $\mathbf{\hat y} = (-1,-1,\ldots,-1,n-1,-1,-1,\ldots,-1)/n$

T_{i} = \pm \sqrt{n - 1} \frac{\hat{y} \cdot \hat{y}}{| | \hat{y} | |} = \pm \sqrt{n - 1} | | \hat{y} | | = \pm \frac{n - 1}{\sqrt{n}},

$T_i = \pm \sqrt{n-1} \frac{\mathbf{\hat y}\cdot \mathbf{\hat y} }{ ||\mathbf{\hat y}||} = \pm\sqrt{n-1}||\mathbf{\hat y}|| = \pm\frac{n-1}{\sqrt{n}},$

Im Übrigen bietet diese Lösung eine umfassende Charakterisierung aller Fälle, in denenwird maximiert: Sie sind alle von der Form $|T_i|$

x = σ \hat{y} + μ 1 = σ (- 1, - 1, \dots, - 1, n - 1, - 1, - 1, \dots, - 1) + μ (1, 1, \dots, 1)

$\mathbf{x} = \sigma\mathbf{\hat y} + \mu\mathbf{1} = \sigma(-1,-1,\ldots,-1,n-1,-1,-1,\ldots,-1) + \mu(1,1,\ldots, 1)$

für alle echten . $\mu, \sigma$

Diese Analyse lässt sich leicht auf den Fall verallgemeinern, in dem durch eine beliebige Gruppe von Regressoren ersetzt wird. Offensichtlich ist das Maximum von proportional zur Länge des Residuums von ,. $\{\mathbf{1}\}$ $T_i$ $\mathbf{y}$ $||\mathbf{\hat y}||$

Vereinfachung

Da bei Änderungen von Ort und Maßstab unveränderlich ist, können wir ohne Verlust der Allgemeinheit annehmen, dass die Summe zu Null und ihre Quadrate zu summieren . Dies identifiziertmit, da (das mittlere Quadrat) . Das Maximieren ist gleichbedeutend mit dem Maximieren von . Auch durch geht keine Allgemeinheit verloren , da die austauschbar sind. $T_i$ $X_i$ $n-1$ $|T_i|$ $|X_i|$ $S$ $1$ $|T_i|^2 = T_i^2 = X_i^2$ $i=1$ $X_i$

Lösung über eine Doppelformulierung

Ein doppeltes Problem besteht darin, den Wert von und zu fragen, welche Werte der verbleibenden benötigt werden, um die Summe der Quadrate zu minimieren, , dass . Da angegeben ist, ist dies das Problem der Minimierung von , , . $X_1^2$ $X_j, j\ne 1$ $\sum_{j=1}^n X_j^2$ $\sum_{j=1}^n X_j = 0$ $X_1$ $\sum_{j=2}^n X_j^2$ $\sum_{j=2}^n X_j = -X_1$

Die Lösung ist in vielerlei Hinsicht leicht zu finden. Eines der elementarsten ist das Schreiben

X_{j} = - \frac{X_{1}}{n - 1} + ε_{j}, j = 2, 3, \dots, n

$X_j = -\frac{X_1}{n-1} + \varepsilon_j,\ j=2, 3, \ldots, n$

für welche . Durch Erweitern der Zielfunktion und Verwenden dieser Summe-zu-Null-Identität zur Vereinfachung wird diese erzeugt $\sum_{j=2}^n \varepsilon_j = 0$

\sum_{j = 2}^{n} X_{j}^{2} = \sum_{j = 2}^{n} {(- \frac{X_{1}}{n - 1} + ε_{j})}^{2} = \sum {(- \frac{X_{1}}{n - 1})}^{2} - 2 \frac{X_{1}}{n - 1} \sum ε_{j} + \sum ε_{j}^{2} = Constant + \sum ε_{j}^{2},

$\sum_{j=2}^n X_j^2 = \sum_{j=2}^n \left(-\frac{X_1}{n-1} + \varepsilon_j\right)^2 = \\\sum \left(-\frac{X_1}{n-1}\right)^2 - 2\frac{X_1}{n-1}\sum \varepsilon_j + \sum \varepsilon_j^2 \\= \text{Constant} + \sum \varepsilon_j^2,$

Das sofortige Anzeigen der eindeutigen Lösung ist für alle . Für diese Lösung $\varepsilon_j=0$ $j$

(n - 1) S^{2} = X_{1}^{2} + (n - 1) {(- \frac{X_{1}}{n - 1})}^{2} = (1 + \frac{1}{n - 1}) X_{1}^{2} = \frac{n}{n - 1} X_{1}^{2}

$(n-1)S^2 = X_1^2 + (n-1)\left(-\frac{X_1}{n-1}\right)^2 = \left(1 + \frac{1}{n-1}\right)X_1^2 = \frac{n}{n-1}X_1^2$

und

| T_{i} | = \frac{| X_{1} |}{S} = \frac{| X_{1} |}{\sqrt{\frac{n}{(n - 1)^{2}} X_{1}^{2}}} = \frac{n - 1}{\sqrt{n}},

$|T_i| = \frac{|X_1|}{S} = \frac{|X_1|}{\sqrt{\frac{n}{(n-1)^2}X_1^2}} = \frac{n-1}{\sqrt{n}},$

QED .

Lösung über Maschinen

Kehren Sie zu dem vereinfachten Programm zurück, mit dem wir begonnen haben:

Maximize X_{1}^{2}

$\text{Maximize } X_1^2$

vorbehaltlich

\sum_{i = 1}^{n} X_{i} = 0 and \sum_{i = 1}^{n} X_{i}^{2} - (n - 1) = 0.

$\sum_{i=1}^n X_i = 0\text{ and }\sum_{i=1}^n X_i^2 -(n-1)=0.$

Die Methode der Lagrange-Multiplikatoren (die fast rein mechanisch und unkompliziert ist) setzt eine nichttriviale lineare Kombination der Gradienten dieser drei Funktionen mit Null gleich:

(0, 0, \dots, 0) = λ_{1} D (X_{1}^{2}) + λ_{2} D (\sum_{i = 1}^{n} X_{i}) + λ_{3} D (\sum_{i = 1}^{n} X_{i}^{2} - (n - 1)) .

$(0,0,\ldots, 0) = \lambda_1 D(X_1^2) + \lambda_2 D\left(\sum_{i=1}^n X_i\right ) + \lambda_3 D\left(\sum_{i=1}^n X_i^2 -(n-1)\right).$

Komponente für Komponente sind diese Gleichungen $n$

\begin{aligned} 0 & = 2 λ_{1} X_{1} + & λ_{2} & + 2 λ_{3} X_{1} \\ 0 & = & λ_{2} & + 2 λ_{3} X_{2} \\ 0 & = \dots \\ 0 & = & λ_{2} & + 2 λ_{3} X_{n} . \end{aligned}

$\eqalign{ 0 &= 2\lambda_1 X_1 +& \lambda_2 &+ 2\lambda_3 X_1 \\ 0 &= & \lambda_2 &+ 2\lambda_3 X_2 \\ 0 &= \cdots \\ 0 &= & \lambda _2 &+ 2\lambda_3 X_n. }$

Die letzten von ihnen implizieren entweder oder . (Wir können den letzteren Fall ausschließen, weil dann die erste Gleichung impliziert , wodurch die lineare Kombination trivialisiert wird.) Die Summe-zu-Null-Beschränkung erzeugt . Die Beschränkung der Quadratsumme liefert die beiden Lösungen $n-1$ $X_2 = X_3 = \cdots = X_n = -\lambda_2/(2\lambda_3)$ $\lambda_2=\lambda_3=0$ $\lambda_1=0$ $X_1 = -(n-1)X_2$

X_{1} = \pm \frac{n - 1}{\sqrt{n}}; X_{2} = X_{3} = \dots = X_{n} = \mp \frac{1}{\sqrt{n}} .

$X_1 = \pm\frac{n-1}{\sqrt{n}};\ X_2 = X_3 = \cdots = X_n = \mp\frac{1}{\sqrt{n}}.$

Sie geben beide nach

| T_{i} | = | X_{1} | \leq | \pm \frac{n - 1}{\sqrt{n}} | = \frac{n - 1}{\sqrt{n}} .

$|T_i| = |X_1| \le |\pm\frac{n-1}{\sqrt{n}}| = \frac{n-1}{\sqrt{n}}.$

whuber
quelle

Vielen Dank für Ihren Nachtrag. Die Geometrie ist sehr leistungsfähig und von allen drei Lösungen für mich die intuitivste.

JohnK

Die angegebene Ungleichung ist wahr. Es ist intuitiv ziemlich klar, dass wir den schwierigsten Fall für die Ungleichung erhalten (dh die linke Seite für gegebenes maximieren ), indem wir einen Wert wählen, sagen wir so groß wie möglich, während alle anderen gleich sind. Schauen wir uns ein Beispiel mit einer solchen Konfiguration an: $S^2$ $x_1$

n = 4, x_{1} = x_{2} = x_{3} = 0, x_{4} = 4, \bar{x} = 1, S^{2} = 4,

$n=4, \quad x_1=x_2=x_3=0, x_4=4, \bar{x}=1, S^2=4,$ jetzt abhängig von , während die angegebene Obergrenze gleich was gerade ist genug. Diese Idee kann zu einem Beweis vervollständigt werden.

\frac{| x_{i} - \bar{x} |}{S} = {\begin{cases} \frac{1}{2} or \\ \frac{3}{2} \end{cases}

$\frac{|x_i-\bar{x}|}{S}=\begin{cases} \frac12 ~\text{or}~ \\ \frac32 \end{cases}$

i

$i$

\frac{4 - 1}{2} = 1.5

$\frac{4-1}{2}=1.5$

BEARBEITEN

Wir werden nun die Behauptung beweisen, wie oben angedeutet. Erstens können wir für jeden gegebenen Vektor in diesem Problem ihn durch ersetzen, ohne eine der Seiten der obigen Ungleichung zu ändern. Nehmen wir im Folgenden an, dass . Wir können auch durch erneutes Etikettieren annehmen, dass am größten ist. wir dann zuerst und dann wählen, können wir durch einfache Algebra überprüfen, ob wir Gleichheit in der behaupteten Ungleichung haben. Es ist also scharf. $x=(x_1, x_2, \dots, x_n)$ $x-\bar{x}$ $\bar{x}=0$ $x_1$ $x_1>0$ $x_2=x_3=\dots=x_n=-\frac{x_1}{n-1}$

Definieren Sie dann den (konvexen) Bereich durch für eine gegebene positive Konstante . Beachten Sie, dass der Schnittpunkt einer Hyperebene mit einer am Ursprung zentrierten Kugel ist, ebenso wie eine Kugel im -Raum. Unser Problem kann jetzt als formuliert werden da ein $R$

R = {x \in R : \bar{x} = 0, \sum (x_{i} - \bar{x})^{2} / (n - 1) \leq S^{2}}

$R = \{ x\in\mathbb{R} \colon \bar{x}=0, \sum(x_i-\bar{x})^2/(n-1) \le S^2\}$

S^{2}

$S^2$

R

$R$

(n - 1)

$(n-1)$

max_{x \in R} max_{i} | x_{i} |

$\max_{x\in R} \max_i |x_i|$

x

$x$ Dies zu maximieren wird der schwierigste Fall für die Ungleichung sein. Dies ist ein Problem beim Finden des Maximums einer konvexen Funktion über einer konvexen Menge, was im Allgemeinen schwierige Probleme sind (Minima sind einfach!). In diesem Fall ist der konvexe Bereich jedoch eine Kugel, die auf dem Ursprung zentriert ist, und die Funktion, die wir maximieren möchten, ist der absolute Wert der Koordinaten. Es ist offensichtlich, dass dieses Maximum an der Grenzkugel von und durch Nehmen vonMaximal wird unser erster Testfall erzwungen.

R

$R$

| x_{1} |

$|x_1|$

kjetil b halvorsen
quelle

@ JohnK Sie können Ihre Kommentare jetzt löschen, der Beitrag ist korrigiert

kjetil b halvorsen

Obwohl diese Antwort zeigt, dass die Ungleichung (vorausgesetzt, sie ist wahr, was sie ist) eng ist , ist nicht ersichtlich, wie diese einzelne Berechnung "zu einem Beweis abgeschlossen" werden könnte. Könnten Sie einen Hinweis darauf geben, wie dies geschehen würde?

whuber

Will, aber morgen muss ich mich auf den morgigen Unterricht vorbereiten.

kjetil b halvorsen

Vielen Dank - ich schätze Ihre sorgfältige Formulierung des Problems. Aber Ihr "Beweis" scheint zu der Aussage zu kommen, dass "es offensichtlich ist, dass". Sie könnten immer Lagrange-Multiplikatoren anwenden, um den Job zu beenden, aber es wäre schön, einen Ansatz zu sehen, der (a) tatsächlich ein Beweis ist und (b) Einblick bietet.

whuber

@whuber Wenn Sie Zeit haben, würde ich mich freuen, wenn Sie Ihre Lagrange-Multiplikator-Lösung veröffentlichen können. Ich denke, die Ungleichheit ist insgesamt nicht so berühmt, wie sie sein sollte.

JohnK