Mehr Prädiktoren als Beobachtungen?

Was bedeutet es, wenn Statistiker davon sprechen, mehr Prädiktoren als Beobachtungen in einem Regressionsmodell zu haben? Wie könnte das überhaupt möglich sein? Warum ist es ein Problem bei der Regression? Entschuldigung, ich bin neu in der Quantanalyse und Statistik, also nicht ganz sicher, warum dies der Fall ist? Ich würde mich über die einfachste Erklärung freuen -

Ich denke, dass die Verwirrung von der Art und Weise herrührt, wie das Wort "Beobachtung" manchmal verwendet wird. Angenommen, Sie wollten wissen, wie die Expression von 20.000 Genen mit einer kontinuierlichen biologischen Variablen wie dem Blutdruck zusammenhängt. Sie haben Daten sowohl zur Expression von 20.000 Genen als auch zum Blutdruck von 10.000 Personen. Sie könnten denken, dass dies 10.000 * 20.001 = 200.010.000 Beobachtungen beinhaltet. Es gibt sicherlich so viele einzelne Datenpunkte. Aber wenn Leute sagen, dass es in diesem Fall "mehr Prädiktoren als Beobachtungen" gibt, zählen sie nur jede einzelne Person als "Beobachtung"; Eine "Beobachtung" ist dann ein Vektor aller Datenpunkte, die an einer einzelnen Person gesammelt wurden. Es mag weniger verwirrend sein, "Fälle" statt "Beobachtungen" zu sagen, aber die Verwendung in der Praxis hat oft versteckte Annahmen wie diese.

Das Problem mit mehr Prädiktoren als Fällen (normalerweise als " " angegeben) besteht darin, dass es dann keine eindeutige Lösung für ein Standardproblem der linearen Regression gibt. Wenn Zeilen der Matrix von Datenpunkten Fälle darstellen und Spalten Prädiktoren darstellen, gibt es notwendigerweise lineare Abhängigkeiten zwischen den Spalten der Matrix. Sobald Sie also Koeffizienten für der Prädiktoren gefunden haben, können die Koeffizienten für die anderen Prädiktoren als beliebige lineare Kombinationen dieser ersten Prädiktoren ausgedrückt werden . Andere Ansätze wie LASSO oder Ridge Regression oder eine Vielzahl anderer Ansätze des maschinellen Lernens bieten Möglichkeiten, in solchen Fällen vorzugehen.$p>n$$n$$(p-n)$$n$