Konkret suche ich Referenzen (Papiere, Bücher), die den Fluch der Dimensionalität konsequent aufzeigen und erklären. Diese Frage stellte sich, nachdem ich dieses Whitepaper von Lafferty und Wasserman gelesen hatte . Im dritten Absatz erwähnen sie eine "bekannte" Gleichung, die impliziert, dass die beste Konvergenzrate ; Wenn jemand darauf eingehen kann (und es erklären kann), wäre das sehr hilfreich.
Kann mich auch jemand auf eine Referenz hinweisen, die die "bekannte" Gleichung herleitet?
Antworten:
Im Anschluss an Richiemorrisroe ist hier das relevante Bild aus den Elementen des statistischen Lernens , Kapitel 2 (S. 22-27):
Wie Sie im oberen rechten Bereich sehen können, gibt es in einer Dimension mehr Nachbarn, die 1 Einheit entfernt sind, als in zwei Dimensionen Nachbarn, die 1 Einheit entfernt sind. 3 Dimensionen wären noch schlimmer!
quelle
Dies beantwortet Ihre Frage nicht direkt, aber David Donoho hat einen schönen Artikel über hochdimensionale Datenanalyse: Die Flüche und Segnungen der Dimensionalität (die dazugehörigen Folien sind hier ), in dem er drei Flüche erwähnt:
quelle
Ich weiß, dass ich mich immer wieder darauf beziehe, aber es gibt eine großartige Erklärung dafür: Die Elemente des statistischen Lernens , Kapitel 2 (S. 22-27). Sie stellen im Grunde fest, dass mit zunehmenden Dimensionen die Datenmenge (exponentiell) zunehmen muss, da sonst im größeren Probenraum nicht genügend Punkte vorhanden sind, um eine sinnvolle Analyse durchzuführen.
Sie beziehen sich auf eine Veröffentlichung von Bellman (1961) als Quelle, die sein Buch Adaptive Control Processes zu sein scheint, das hier bei Amazon erhältlich ist
quelle
Die vielleicht berüchtigtste Auswirkung wird durch die folgende Grenze erfasst (die (indirekt) im obigen Bild dargestellt ist):
Einfluss der Dimensionalität auf Daten in Bildern
quelle