Wie wirkt sich Rauschen auf die Generalisierung aus?

Hilft die Erhöhung des Datenrauschens, die Lernfähigkeit eines Netzwerks zu verbessern? Macht es einen Unterschied oder hängt es vom zu lösenden Problem ab? Wie wirkt es sich auf den Generalisierungsprozess insgesamt aus?

Rauschen in den Daten kann in angemessener Menge dazu beitragen, dass das Netzwerk besser verallgemeinert wird. Manchmal hat es den gegenteiligen Effekt. Dies hängt teilweise von der Art des Geräusches ab ("wahr" vs. künstlich).

Die AI-FAQ zu ANN geben einen guten Überblick. Auszug:

Rauschen in den tatsächlichen Daten ist niemals eine gute Sache, da es die Genauigkeit der Verallgemeinerung einschränkt, die erreicht werden kann, unabhängig davon, wie umfangreich der Trainingssatz ist. Andererseits ist das Einspeisen von künstlichem Rauschen (Jitter) in die Eingänge während des Trainings eine von mehreren Möglichkeiten, um die Generalisierung für reibungslose Funktionen zu verbessern, wenn Sie einen kleinen Trainingssatz haben.

In einigen Bereichen, wie z. B. Computer Vision, ist es üblich, den Trainingssatz zu vergrößern, indem einige Beispiele kopiert und einige Geräusche oder andere Transformationen hinzugefügt werden.

Wir stellen uns Modelle des maschinellen Lernens normalerweise als Modellierung von zwei verschiedenen Teilen der Trainingsdaten vor - der zugrunde liegenden verallgemeinerbaren Wahrheit (dem Signal) und der für diesen Datensatz spezifischen Zufälligkeit (dem Rauschen).

Das Anpassen dieser beiden Teile erhöht die Genauigkeit des Trainingssatzes, aber das Anpassen des Signals erhöht auch die Genauigkeit des Testsatzes (und die tatsächliche Leistung), während das Anpassen des Rauschens beide verringert. Wir verwenden also Dinge wie Regularisierung und Dropout und ähnliche Techniken, um es schwieriger zu machen, das Rauschen anzupassen und damit eher das Signal anzupassen.

Nur die Erhöhung des Rauschens in den Trainingsdaten ist ein solcher Ansatz, scheint jedoch nicht so nützlich zu sein. Vergleichen Sie beispielsweise zufälligen Jitter mit gegnerischem Boosten. Das erste wird die Robustheit langsam und indirekt verbessern, während das letztere die Robustheit dramatisch und direkt verbessern wird.

PS: Hier gibt es bereits einige sehr gute Antworten. Ich werde diese Antworten nur in der Hoffnung ergänzen, dass jemand dies nützlich findet:

Das Einfügen von Rauschen in einen Datensatz kann sich tatsächlich positiv auf ein Modell auswirken. Tatsächlich kann dies als dasselbe angesehen werden, was Sie normalerweise mit Regularisierern wie Dropout tun würden . Einige Beispiele hierfür sind Zur at.al , Cires¸at.al, wo die Autoren erfolgreich Rauschen in den Datensatz einführten , um eine Überanpassung zu reduzieren.

Der Haken ist, zu wissen, wie viel Lärm zu viel ist. Wenn Sie zu viel Rauschen hinzufügen, wird Ihr Dataset möglicherweise unbrauchbar, da das resultierende Dataset möglicherweise nicht mehr genügend Ähnlichkeit mit dem Originaldatensatz aufweist. Sie können also auch mit einem völlig anderen Dataset trainieren. Daher konnte zu viel Rauschen gesehen werden, um eine Unteranpassung zu verursachen, genau wie bei extrem hohen Abbrecherquoten.

Wie das Sprichwort sagt; Balance ändern ist die Würze des Lebens :).