Aktuelle Implementierungen des Zufallsprojektionsalgorithmus reduzieren die Dimensionalität von Datenproben, indem sie von auf Verwendung einer Projektionsmatrix abgebildet werden, deren Einträge aus einer geeigneten Verteilung stammen (zum Beispiel aus ):
Praktischerweise gibt es theoretische Beweise dafür, dass diese Abbildung ungefähr paarweise Abstände beibehält.
Kürzlich habe ich jedoch diese Notizen gefunden , in denen der Autor behauptet, dass diese Abbildung mit einer Zufallsmatrix keine Projektion im strengen linearen algebraischen Sinne des Wortes ist (Seite 6). Aus den dort gegebenen Erklärungen geht hervor, dass die Spalten von nicht streng orthogonal sind, wenn ihre Einträge unabhängig von . Daher können frühere Versionen von RP, bei denen die Orthogonalität der Spalten von erzwungen wurde, als Projektion betrachtet werden.
Können Sie eine detailliertere Erklärung geben für (1) was ist die Definition einer Projektion in diesem strengen Sinne und (2) warum ist RP keine Projektion unter dieser Definition?.
Antworten:
Was ist die Definition einer Projektion in diesem strengen (linearen algebraischen) Sinne (des Wortes)?
Für die orthogonale Projektion oder Vektorprojektion haben Sie das
Warum ist RP keine Projektion unter dieser Definition?
Michael Mahoney schreibt in Ihren Vorlesungsunterlagen, dass es davon abhängt, wie die RP aufgebaut ist , ob die RP eine Projektion im traditionellen linearen algebraischen Sinne ist oder nicht. Dies tut er im dritten und vierten Punkt:
Sie können also im Prinzip die zufällige Projektion mit einer anderen Konstruktion durchführen, die auf orthogonale Matrizen beschränkt ist (obwohl dies nicht erforderlich ist). Siehe zum Beispiel das Originalwerk:
Der Wikipedia-Eintrag beschreibt die zufällige Projektion auf diese Weise (dasselbe wird in den Vorlesungsunterlagen auf den Seiten 10 und 11 erwähnt).
Diese Orthogonalität erhalten Sie jedoch im Allgemeinen nicht, wenn Sie alle Matrixeinträge in der Matrix als zufällige und unabhängige Variablen mit einer Normalverteilung verwenden (wie Whuber in seinem Kommentar mit einer sehr einfachen Konsequenz erwähnte: "Wenn die Spalten immer orthogonal wären, könnten ihre Einträge nicht unabhängig sein ").
Eine zufällige Projektion durch verschiedene Konstruktionen, beispielsweise die Verwendung zufälliger Einträge in der Matrix, entspricht also nicht genau einer orthogonalen Projektion. Aber es ist rechnerisch einfacher und laut Michael Mahoney „gut genug“.
quelle
Das ist richtig: "Zufallsprojektion" ist streng genommen keine Projektion.
quelle
Ich wäre Ihnen dankbar, wenn Sie meine Argumentation hier bestätigen / korrigieren könnten.
Referenz:
[1] http://www.dankalman.net/AUhome/classes/classesS17/linalg/projections.pdf
quelle
Wenn Sie vor der Fast Walsh Hadamard-Transformation ein umrechnungsfähiges Umkehren oder Permutieren von Zufallszeichen verwenden, ist die zufällige Projektion orthogonal.
quelle