Meiner Meinung nach müssen korrelierte Eingabedaten in neuronalen Netzen zu einer Überanpassung führen, da das Netz die Korrelation lernt, z. B. Rauschen in den Daten.
Ist das richtig?
Nicht wirklich.
Die Frage als solche ist ein bisschen allgemein und mischt zwei Dinge, die nicht wirklich zusammenhängen. Überanpassung ist normalerweise als das Gegenteil zu einer verallgemeinerten Beschreibung gemeint; in dem Sinne, dass ein überladenes (oder übertrainiertes) Netzwerk weniger Verallgemeinerungskraft hat. Diese Qualität wird in erster Linie von der Netzwerkarchitektur, dem Training und dem Validierungsverfahren bestimmt. Die Daten und ihre Eigenschaften werden nur als "etwas, auf dem der Trainingsvorgang stattfindet" eingegeben. Dies ist mehr oder weniger "Lehrbuchwissen"; Sie könnten "Eine Einführung in das statistische Lernen" von James, Witten, Hastie und Tibshirani ausprobieren. Oder "Pattern Recognition" von Bishop (mein Lieblingsbuch überhaupt zum allgemeinen Thema). Oder "Mustererkennung und maschinelles Lernen", ebenfalls von Bischof.
Für die Korrelation selbst: Betrachten Sie den Eingaberaum mit einer bestimmten Dimension. Egal welche Transformation Sie verwenden, die Dimensionalität bleibt gleich - die lineare Algebra sagt es aus. In einem Fall ist die angegebene Basis vollständig unkorreliert - dies erhalten Sie, wenn Sie die Variablen dekorrelieren oder einfach PAT (Principle Axis Transformation) anwenden. Nehmen Sie hierfür ein beliebiges lineares Algebra-Buch.
Da ein neuronales Netzwerk mit einer geeigneten Architektur jede (!) Funktion modellieren kann, können Sie davon ausgehen, dass es auch zuerst die PAT modellieren und dann alles tun kann, was es auch tun sollte - z. B. Klassifizierung, Regression usw.
Sie können die Korrelation auch als Merkmal betrachten, das Teil der Beschreibung des neuronalen Netzwerks sein sollte, da es eine Eigenschaft der Daten ist. Die Art der Korrelation ist nicht wirklich wichtig, es sei denn, sie sollte nicht Teil der Daten sein. Dies wäre eigentlich ein anderes Thema - Sie sollten so etwas wie Rauschen in der Eingabe modellieren oder quantifizieren und berücksichtigen.
Also, zusammenfassend nein. Korrelierte Daten bedeuten, dass Sie härter arbeiten sollten, um den Umgang mit Daten technisch einfacher und effektiver zu gestalten. Eine Überanpassung kann auftreten, wird jedoch nicht durchgeführt, da korrelierte Daten vorliegen.
cherub hat recht mit seiner aussage über die überanpassung. Ich denke jedoch, dass die Diskussion von stark korrelierten Merkmalen und ANN das Problem zu stark vereinfacht.
Ja, theoretisch kann eine ANN jede Funktion approximieren. In der Praxis ist es jedoch keine gute Idee, zahlreiche stark korrelierte Merkmale aufzunehmen. Dies führt zu vielen Redundanzen innerhalb des Modells. Die Einbeziehung solcher Entlassungen wird unnötige Komplexitäten mit sich bringen und könnte auf diese Weise die Anzahl der lokalen Minima erhöhen. Da die Verlustfunktion eines ANN von Natur aus nicht glatt ist, ist es keine gute Idee, eine unnötige Rauheit einzuführen.
quelle