Schrumpfung der Eigenwerte

7

Angenommen , wir haben Proben die unabhängig und identisch mit dem Mittelwert = 0 und unbekannte nicht-singulären Kovarianzmatrix verteilt . Jede Probe ist ein Vektor der Größe .nX1,...,XnMXip×1

Ich möchte den "Stein-Haff-Schätzer" [Stein, C. 1975] anwenden, der durch Verkleinern seiner Eigenwerte schätzt . wir also an, hat die Eigenwerte . Seine Schätzung hat die korrigierten Eigenwerte .MMα1,α2,...,αpMα1,α2,...,αp

Stein-Haff-Schätzer hat die Form Stein, C (1977b), Vorlesung 4, Seite 1391 :

                                                           αj=αj/Lj(α)

Wobei .Lj(α)=n+p2j+1+2i>j(αi/(αjαi))2i<j(αj/(αiαj))

Leider ist dieser Schätzer nicht sehr gut, da einige korrigierte Eigenwerte Null oder sogar negativ sein können. Deshalb wenden sie eine "isotonische Regression" auf die obige Gleichung an. Es gibt viele Referenzen, die erklären, wie die isotonische Version dieses Schätzers erstellt wird:

Geben Sie hier die Bildbeschreibung ein

Leider kann ich das PDF der ersten beiden Referenzen nicht erhalten. Aber kann mir jemand erklären, wie Stein seinen Schätzer mithilfe der isotonischen Regression modifiziert hat? Was ist die endgültige Form der obigen Gleichung?

Bitte jede Hilfe von Ihren Erfahrungen wird sehr geschätzt!

Christina
quelle

Antworten:

2

Erstens weiß ich nichts über Stein-Haff-Schätzer außer dem, was ich nach ein paar Sekunden Googeln in https://stat.duke.edu/~berger/papers/yang.pdf gesehen habe , das das Zitat enthält "Dieser Schätzer hat zwei Probleme. Erstens wird die intuitiv kompatible Reihenfolge häufig verletzt. Zweitens, und schwerwiegender, können einige der sogar negativ sein Isotonisierungsalgorithmus, um diese Probleme zu vermeiden. ... Die Details dieses Isotonisierungsalgorithmus finden sich in Lin und Perlman (1985) ".ϕ1ϕ2ϕpϕi
Diese Referenz lautet: LIN, SP und PERLMAN, MD (1985). Ein Monte-Carlo-Vergleich von vier Schätzern für eine Kovarianzmatrix. In Multivariate Analysis 6 (PR Krishnaiah, Hrsg.) 411-429. Nordholland, Amsterdam.

Ich weiß jedoch etwas über Optimierung. Isotonisierungsbeschränkungen können für ein Problem der kleinsten Quadrate festgelegt werden, wodurch es zu einem (linear beschränkten) Problem der konvexen quadratischen Programmierung (QP) wird, das mit Standard-Software einfach zu formulieren und numerisch zu lösen ist. Wenn eine L ^ 1-Norm für die Regression verwendet wird oder sogar eine L ^ 1-Strafe zu einem L ^ 2-Ziel hinzugefügt wird, ist dies immer noch ein konvexer QP. In dem Fall, in dem das Ziel ausschließlich L ^ 1 ist, wäre es tatsächlich ein Problem der linearen Programmierung (LP), was ein Sonderfall eines konvexen QP ist.

Was die negativen Eigenwerte betrifft, so wird angenommen, dass diese nach dem Hinzufügen der Isotonisierungsbeschränkungen noch möglich sind, was durch Auferlegen einer semidefiniten Beschränkung auf die Kovarianzmatrix behoben werden kann. Dh die Auferlegung der Einschränkung, dass der minimale Eigenwert . Sie können tatsächlich einen anderen minimalen Eigenwert als 0 festlegen, wenn Sie dies wünschen, und Sie müssten dies tun, wenn Sie sicherstellen möchten, dass die Kovarianzmatrix nicht singulär ist, wie Sie es für erwünscht oder erforderlich halten. Das Hinzufügen dieser semidefiniten Einschränkung verwandelt das gesamte Optimierungsproblem in ein konvexes semidefinites Programm (SDP) oder technisch etwas, das darin konvertierbar ist.0

Formulierung und numerische Lösung eines solchen konvexen SDP, dh Ziel bei Ihrer Wahl der Norm (L ^ p für jedes ), plus jede objektive Strafe bei Ihrer Wahl der Norm die nicht gleich sein muss Die andere Norm plus isotonisierende (lineare) Einschränkungen plus semi-definierte Einschränkungen ist mit einem Tool wie CVX http://cvxr.com/cvx/ SEHR einfach und unkompliziert . Dies sollte sehr schnell ausgeführt werden, es sei denn, die Dimension der Kovarianzmatrix (was Sie p genannt haben, nicht was ich p genannt habe) liegt bei Tausenden oder mehr. YALMIP http://users.isy.liu.se/johanl/yalmip/p1(p1)könnte anstelle von CVX verwendet werden (was nur die Formulierung und Lösung konvexer Optimierungsprobleme ermöglicht, mit Ausnahme der optionalen Angabe von ganzzahligen Einschränkungen). YALMIP ermöglicht eine größere Auswahl an Optimierungslösern und eine größere Bandbreite von Problemen (nicht konvex), die formuliert und gelöst werden können als CVX, jedoch eine steilere Lernkurve aufweisen.

Mark L. Stone
quelle
1
Vielen Dank für Ihre Zeit und Antwort auf mich :). In dem Fall, in dem wir mehr unbekannte Regressionskoeffizienten als die Dimension der abhängigen Variablen haben, können die kleinsten Quadrate ineffizient sein und daher können einige Eigenwerte negativ oder Null sein (unbestimmtes Gleichungssystem). In diesem Fall können wir also die isotonische Beschränkung auf die kleinsten Quadrate anwenden, anstatt eine L1 oder Strafen hinzuzufügen.
Christina
Ich weiß nicht, was die Zielfunktion in Stein-Haff "sein soll". Das Hinzufügen von Isotonnisierungs- und semidefiniten Einschränkungen ist einfach. Sie können die Zielfunktion nach Belieben ändern und als Christina-Stone-Stein-Haff-Schätzer bezeichnen :) Sie müssen der Zielfunktion keine Strafe hinzufügen - ich habe nur gesagt, dass Sie dies können, ohne die Lösung für das Optimierungsproblem zu finden schwieriger. Wenn Sie CVX oder YALMIP verwenden, besteht der bevorzugte Ansatz für ein Ziel der kleinsten Quadrate darin, eine Norm oder eine Summe von Normen zu minimieren, nicht die Summe von Quadraten. Zu viele Koeffizienten klingen wie ein Rezept für eine Überanpassung.
Mark L. Stone
Wie gesagt, ich weiß nicht, was oder warum der Stein-Haff-Schätzer ist, aber wenn er all diese Mängel aufweist, könnte es sein, dass das Auferlegen von Isotonisierungs- und semidefiniten Einschränkungen nur ein Pflaster ist. 1975 war eine Eigenwertoptimierung nahezu unbekannt. Jetzt ist es ziemlich ausgereift. Ich glaube nicht, dass Stein jemals Eigenwertbeschränkungen (semidefinite) auferlegt hat oder vielleicht davon wusste. Die Eigenwertoptimierung für Kovarianzmatrizen ist einfach, da sie symmetrisch sind. Ich habe viel Eigenwertoptimierung durchgeführt, nicht nur für Kovarianzmatrizen, sondern auch für nicht symmetrische Matrizen, was aufgrund der Nichtkonvexität viel schwieriger ist.
Mark L. Stone