Gibt es einen Grund, ein bestimmtes Maß an Multikollinearität zu bevorzugen?

Bei der Arbeit mit vielen Eingabevariablen geht es uns häufig um Multikollinearität . Es gibt eine Reihe von Maßstäben für Multikollinearität, mit denen Multikollinearität erkannt, überlegt und / oder kommuniziert wird. Einige allgemeine Empfehlungen sind:

1. Das Mehrfache für eine bestimmte Variable $R^2_j$
2. Die Toleranz für eine bestimmte Variable $1-R^2_j$
3. Der Varianzinflationsfaktor für eine bestimmte Variable $\text{VIF}=\frac{1}{\text{tolerance}}$

4. Die Bedingungsnummer der Entwurfsmatrix als Ganzes:

   $$\sqrt{\frac{\text{max(eigenvalue(X'X))}}{\text{min(eigenvalue(X'X))}}}$$

(Es gibt einige andere Optionen, die im Wikipedia-Artikel und hier auf SO im Kontext von R diskutiert werden .)

Die Tatsache, dass die ersten drei eine perfekte Funktion voneinander sind, legt nahe, dass der einzig mögliche Nettovorteil zwischen ihnen psychologischer Natur wäre. Andererseits können Sie mit den ersten drei Variablen einzeln untersuchen, was möglicherweise von Vorteil ist, aber ich habe gehört, dass die Bedingungsnummernmethode als die beste angesehen wird.

• Ist das wahr? Am besten für was?
• Ist die Bedingungsnummer eine perfekte Funktion der 's? (Ich würde denken, dass es sein würde.) $R^2_j$
• Finden die Leute, dass einer von ihnen am einfachsten zu erklären ist? (Ich habe nie versucht, diese Zahlen außerhalb des Unterrichts zu erklären. Ich gebe nur eine lose, qualitative Beschreibung der Multikollinearität.)

In den späten 1990er Jahren habe ich meine Dissertation über Kollinearität gemacht.

Mein Fazit war, dass die Zustandsindizes am besten waren.

Der Hauptgrund war , dass, anstatt Blick auf einzelne Variablen, es lässt Sie betrachten Sets von Variablen. Da Kollinearität eine Funktion von Variablensätzen ist, ist dies eine gute Sache.

Auch die Ergebnisse meiner Monte-Carlo-Studie zeigten eine bessere Empfindlichkeit gegenüber problematischer Kollinearität, aber ich habe die Details längst vergessen.

Andererseits ist es wahrscheinlich am schwierigsten zu erklären. Viele Leute wissen, was ist. Nur ein kleiner Teil dieser Menschen hat von Eigenwerten gehört. Wenn ich jedoch Zustandsindizes als Diagnosewerkzeug verwendet habe, wurde ich nie um eine Erklärung gebeten.$R^2$

Weitere Informationen finden Sie in den Büchern von David Belsley. Oder, wenn Sie wirklich wollen, können Sie meine Dissertation Multikollinearitätsdiagnostik für multiple Regression erhalten: Eine Monte-Carlo-Studie