Was bedeutet orthogonal im Kontext der Statistik?

60

In anderen Zusammenhängen bedeutet orthogonal "im rechten Winkel" oder "senkrecht".

Was bedeutet Orthogonal im statistischen Kontext?

Vielen Dank für eventuelle Klarstellungen.

descriptive-statistics pmgjones
quelle

2

Danke für die Frage. Ich habe eine allgemeinere Frage gestellt: Was ist bei allen Fällen von Orthogonalität so häufig? Ich war auch interessiert zu wissen, wie die statistische Unabhängigkeit diese Eigenschaft erfüllt. physics.stackexchange.com/questions/67506

Val

5

Ich bin überrascht, dass in keiner der Antworten erwähnt wird, dass dies normalerweise im mathematischen Sinne der "linearen Algebra" gemeint ist. Wenn wir beispielsweise von einem "orthogonalen Satz von Variablen" sprechen, ist normalerweise gemeint, dass für die Matrix mit dem Satz von Variablen . "orthonormal" wird ebenfalls verwendet.

X^{T} X = I

$X^{T}X=I$

X

$X$

Wahrscheinlichkeitslogik

4

@wahrscheinlichkeit "Orthogonal" hat Bedeutung für einen Vektorraum mit quadratischer Form : zwei Vektoren und sind genau dann orthogonal, wenn . "Orthonormal" bedeutet zusätzlich, dass . Somit sind "orthogonal" und "orthonormal" weder synonym noch auf endliche Matrizen beschränkt. ( ZB können und Elemente eines Hilbert-Raums sein, wie der Raum von komplexwertigen Funktionen auf der in der klassischen Quantenmechanik verwendet wird.)

Q

$Q$

v

$v$

w

$w$

Q (v, w) = 0

$Q(v,w)=0$

Q (v, v) = 1 = Q (w, w)

$Q(v,v)=1=Q(w,w)$

v

$v$

w

$w$

L^{2}

$L^2$

R^{3}

$\mathbb{R}^3$

whuber

Dieser Link könnte helfen, den (Nicht-) Zusammenhang von Orthogonalität und Korrelation zu verstehen. alecospapadopoulos.wordpress.com/2014/08/16/…

RBirkelbach

Die wachsende Anzahl unterschiedlicher (aber korrekter) Antworten zeigt an, dass dies ein guter CW-Thread ist.

whuber

-16

Dies bedeutet, dass sie [die Zufallsvariablen X, Y] voneinander 'unabhängig' sind. Unabhängige Zufallsvariablen werden oft als rechtwinklig zueinander betrachtet, wobei mit rechtwinklig gemeint ist, dass das innere Produkt der beiden 0 ist (eine äquivalente Bedingung aus der linearen Algebra).

Beispielsweise wird in der XY-Ebene gesagt, dass die X- und Y-Achse orthogonal sind, da, wenn sich der x-Wert eines gegebenen Punktes ändert, beispielsweise von (2,3) nach (5,3), sein y-Wert der gleiche bleibt (3). und umgekehrt. Daher sind die beiden Variablen "unabhängig".

Siehe auch die Wikipedia-Einträge für Unabhängigkeit und Orthogonalität

crazyjoe
quelle

24

Da die Unterscheidung zwischen Korrelation und fehlender Abhängigkeit wichtig ist, ist es nicht gut, Orthogonalität mit Unabhängigkeit gleichzusetzen.

whuber

Da seit über einem Jahr weder OP noch Anrufbeantworter aktiv sind, lohnt es sich wahrscheinlich, diese zu bearbeiten, um zumindest eine eindeutige Antwort zu erhalten. Ich habe es versucht.

Assad Ebrahim

1

Ein weit verbreitetes Gegenbeispiel dazu in der Statistik ist PCA vs. ICA, wobei PCA die Orthogonalität erzwingt und ICA die Unabhängigkeit maximiert.

Jona

5

An die Moderatoren: Es ist eine Schande, dass diese gute und sehr beliebte Frage mit einer Antwort "feststeckt", die so viele von ihnen besser herabgestuft sehen (aktuelle Punktzahl -4). Da sowohl das OP als auch der Beantworter seit über einem Jahr nicht mehr aktiv sind, kann der "akzeptierte" Scheck möglicherweise entfernt und die Frage "offen" gelassen werden. Die vollständigeren Antworten unten sprechen für sich.

Assad Ebrahim

1

@Assad Mods können die Akzeptanz des OP nicht entfernen. Das ist die Provinz der OP.

Glen_b

33

Ich kann keinen Kommentar abgeben, weil ich nicht genug Punkte habe. Deshalb bin ich gezwungen, meine Meinung als Antwort zu äußern. Bitte vergib mir. Von dem Wenigen, das ich weiß, bin ich mit der ausgewählten Antwort von @crazyjoe nicht einverstanden, weil Orthogonalität als definiert ist

E [X Y^{⋆}] = 0

$E[XY^{\star}] = 0$

Damit:

Wenn mit symmetrischem pdf sind sie abhängig, aber orthogonal. $Y=X^2$

Wenn aber pdf Null für negative Werte, dann sind sie abhängig, aber nicht orthogonal. $Y=X^2$

Orthogonalität impliziert daher keine Unabhängigkeit.

user497804
quelle

2

Was ist der Stern in ?

Y^{*}

$Y^{*}$

Mugen

2

@mugen, wahrscheinlich ein Hinweis auf das komplexe Konjugat.

A. Donda

Anmerkung an sich selbst (und möglicherweise an andere) - Ich glaube, dass (für reelle Funktionen können wir das komplexe Konjugat (?) Beseitigen) das innere Produkt der Zufallsvariablen und , definiert als Erwartung an das Produkt ihrer PDFs:

E [X Y]

$E[XY]$

X

$X$

Y

$Y$

⟨ X, Y ⟩ = E [X Y]

$\langle X,Y\rangle=E[XY]$

Antoni Parellada

21

Wenn X und Y unabhängig sind, sind sie orthogonal. Das Gegenteil trifft jedoch nicht zu, wie das clevere Beispiel von user497804 zeigt. Die genauen Definitionen finden Sie unter

Orthogonal: Komplexwertige Zufallsvariablen und heißen orthogonal, wenn sie erfüllen $C_1$ $C_2$ ${\rm cov}(C_1,C_2)=0$

(S. 376, Wahrscheinlichkeits- und Zufallsprozesse von Geoffrey Grimmett und David Stirzaker)

Unabhängig: Die Zufallsvariablen und sind genau dann unabhängig, wenn für alle $X$ $Y$ $F(x,y) = F_X(x)F_Y(y)$ $x,y \in \mathbb{R}$

entspricht für kontinuierliche Zufallsvariablen der Forderung, dass $f(x,y) = f_X(x)f_Y(y)$

(Seite 99, Wahrscheinlichkeits- und Zufallsprozesse von Geoffrey Grimmett und David Stirzaker)

Naresh
quelle

21

@Mien hat bereits eine Antwort geliefert und, wie @whuber anmerkt, orthogonale Mittel unkorreliert. Ich wünschte jedoch wirklich, die Leute würden einige Referenzen zur Verfügung stellen. Die folgenden Links sind möglicherweise hilfreich, da sie das Konzept der Korrelation aus geometrischer Sicht erläutern.

Die Geometrie der Vektoren (siehe S. 7)
Linear unabhängige, orthogonale und nicht korrelierte Variablen
Grafische Darstellung der zweidimensionalen Korrelation im Vektorraum (möglicherweise nicht frei für Sie)

Bernd Weiss
quelle

1

Der zweite Link erklärte alles, was ich wissen wollte. Vielen Dank! :)

Lenar Hoyt

Reellwertige Zufallsvariablen Xund Yunkorreliert sind , wenn und nur wenn die zentrierten Variablen X-E(X)und Y-E(Y)orthogonal sind. [ref]

knedlsepp

1

@ Bernd Die ersten beiden Links funktionieren nicht.

überwältigt

@overwhelmed Ich schätze, das ist der Artikel, auf den der zweite Link zeigte.

Josh O'Brien

8

Eine NIST-Website (siehe unten) definiert orthogonal wie folgt: "Ein experimentelles Design ist orthogonal, wenn sich die Auswirkungen eines Faktors über die Auswirkungen der anderen Faktoren ausgleichen (Summe zu Null)."

Im statistischen Design verstehe ich orthogonal als "nicht begründet" oder "nicht voreingenommen". Dies ist wichtig, wenn Sie Ihr Experiment entwerfen und analysieren, um sicherzustellen, dass Sie verschiedene Faktoren / Behandlungen eindeutig identifizieren können. Wenn Ihr entworfenes Experiment nicht orthogonal ist, bedeutet dies, dass Sie die Auswirkungen verschiedener Behandlungen nicht vollständig voneinander trennen können. Daher müssen Sie ein Folgeexperiment durchführen, um den Effekt zu entschlüsseln. Dies würde als erweitertes Design oder vergleichendes Design bezeichnet.

Unabhängigkeit scheint eine schlechte Wortwahl zu sein, da sie in so vielen anderen Aspekten von Design und Analyse verwendet wird.

NIST Ref http://www.itl.nist.gov/div898/handbook/pri/section7/pri7.htm

Chris
quelle

3

+1 für die Einführung in einen experimentellen Entwurfskontext. Das Wort "orthogonal" sollte hier verwendet werden, da es genau dasselbe ist wie das mathematische Konzept: Die (Spalten-) Vektoren, die die Faktoren des Experiments darstellen und als Elemente eines euklidischen Raums betrachtet werden, sind tatsächlich orthogonal (rechts) Winkel, mit einem Nullpunktprodukt) in einem orthogonalen Design.

whuber

2

Es ist sehr wahrscheinlich, dass sie "nicht verwandt" bedeuten, wenn sie "orthogonal" sagen. Wenn zwei Faktoren orthogonal sind (z. B. in der Faktorenanalyse), haben sie keine Beziehung, ihre Korrelation ist Null.

Miene
quelle

3

Der Korrelationskoeffizient ist (oder ist natürlich interpretierbar als) der Kosinus eines Winkels. Wenn es Null ist, was denkst du, ist der Winkel? :-) Nicht korreliert heißt nicht nicht verwandt!

whuber

Ich sage nicht, dass Sie sich irren, aber können Sie mir ein Beispiel für etwas geben, das nicht korreliert und verwandt ist? oder umgekehrt? Ich bin mir nicht sicher, ob ich den Unterschied verstehe.

Mien

Und ja, ich weiß, dass dieser Winkel 90 ° betragen würde. Ein rechter Winkel ist orthogonal.

Mien

5

Sei eine Zufallsvariable, die mit gleicher Wahrscheinlichkeit Werte in und sei . Die Korrelation zwischen und ist , aber deutlich werden sie im Zusammenhang: eine Funktion von ist .

X

$X$

{- 1, 0, 1}

$\{-1,0,1\}$

Y = X^{2}

$Y=X^2$

X

$X$

Y

$Y$

ρ_{X, Y} = 0

$\rho_{X,Y}=0$

Y

$Y$

X

$X$

Angenommen, am

Ach ja danke Aber das Gegenteil ist nicht möglich, oder (wenn es keine dritte Variable oder ähnliches gibt)?

Mien

2

Laut http://terpconnect.umd.edu/~bmomen/BIOM621/LineardepCorrOrthogonal.pdf ist die lineare Unabhängigkeit eine notwendige Bedingung für Orthogonalität oder Unkorreliertheit. Es gibt jedoch feinere Unterschiede, insbesondere ist Orthogonalität nicht unkorreliert.

user45059
quelle

1

Ich habe eine ähnliche Frage gestellt: Welcher Zusammenhang besteht zwischen der Orthogonalität und der Erwartung des Produkts von Wohnmobilen? Ich wiederhole die Antwort hier. Obwohl Orthogonalität ein Konzept aus der Linearen Algebra ist und bedeutet, dass das Punktprodukt zweier Vektoren Null ist, wird der Begriff in der Statistik manchmal lose verwendet und bedeutet Nichtkorrelation. Wenn zwei Zufallsvektoren orthogonal sind, ist ihr zentrales Gegenstück nicht korreliert, da Orthogonalität (Punktprodukt Null) eine Nichtkorrelation der zentralisierten Zufallsvektoren impliziert (manchmal wird von Orthogonalität angenommen, dass das Kreuzmoment Null ist). Immer wenn wir zwei Zufallsvektoren , können wir sie immer um ihre Mittelwerte zentrieren , um ihre Erwartung auf Null zu bringen. Man nehme die Orthogonalität an ( $(X,Y)$ $X\cdot Y=0$ ), dann ist die Korrelation der zentralisierten Zufallsvariablen

C o v (X - E [X], Y - E [Y]) = E [X \cdot Y] = E [0] = 0 ⟹ C o r r (X - E [X], Y - E [Y]) = 0

$Cov(X-E[X],Y-E[Y]) = E[X\cdot Y]= E[0]=0\implies \\Corr(X-E[X],Y-E[Y])=0$

Diogo
quelle

1

In der Ökonometrie bedeutet die Orthogonalitätsannahme, dass der erwartete Wert der Summe aller Fehler 0 ist. Alle Variablen eines Regressors sind orthogonal zu ihren aktuellen Fehlerausdrücken.

Mathematisch ist die Orthogonalitätsannahme . $E(x_{i}·ε_{i}) = 0$

Einfacher ausgedrückt bedeutet dies, dass ein Regressor "senkrecht" zum Fehlerterm ist.

Leopold W.
quelle

-2

Zwei oder mehr IVs sind nicht miteinander verbunden (unabhängig), haben aber beide einen Einfluss auf die DV. Jede IV trägt separat einen bestimmten Wert zum Ergebnis bei, während beide oder alle IVs in additiver Weise zur Vorhersage des Einkommens beitragen (orthogonal = nicht schneidender IV-Einfluss auf einen DV). IVs sind untereinander nicht korrelativ und normalerweise in einem rechten Winkel positioniert * siehe Venn-Diagramm.

Beispiel: Verhältnis von Motivation und Bildungsjahren zum Einkommen.

IV = Schuljahre IV = Motivation DV = Einkommen

https://onlinecourses.science.psu.edu/stat505/node/167

Klopfen
quelle

-2

Die zugehörigen Zufallsvariablen bedeuten, dass die Variablen X und Y eine beliebige Beziehung haben können. kann linear oder nichtlinear sein. Die Unabhängigkeit und die orthogonalen Eigenschaften sind gleich, wenn die beiden Variablen linear zusammenhängen.

J Subramani
quelle

2

Dies verewigt den Fehler von crazyjoe: Orthogonalität impliziert keine Unabhängigkeit, es sei denn, die Variablen sind gemeinsam normalverteilt.

Whuber

Was bedeutet orthogonal im Kontext der Statistik?

Antworten: