Gilt der universelle Approximationssatz für neuronale Netze für eine Aktivierungsfunktion?

8

Gilt der universelle Approximationssatz für neuronale Netze für eine Aktivierungsfunktion (Sigmoid, ReLU, Softmax usw.) oder ist er auf Sigmoidfunktionen beschränkt?

Update: Wie Shimao in den Kommentaren hervorhebt, gilt es für absolut keine Funktion. Für welche Klasse von Aktivierungsfunktionen gilt dies?

neural-networks approximation Skander H.
quelle
1
Ich glaube, es gilt für alle, die Sie aufgelistet haben, aber es gilt nicht für eine beliebige Aktivierungsfunktion (betrachten Sie f (x) = 0)
Shimao
Lesen Sie das Papier von Cybenko (1989). Die Funktion muss kompakt sein, dh sie muss für kompakte Teilmengen von R ^ n
Snehanshu Saha
Wenn es endlich viele Diskontinuitäten gibt, kann dies auch durch Hinzufügen weiterer versteckter Ebenen behoben werden. Es funktioniert auch für SBAF.
Snehanshu Saha
Dies macht wenig Sinn, da jede in definierte Funktion in kompakten Teilmengen davon definiert ist! Rn
whuber

Antworten:

7

Der Wikipedia-Artikel enthält eine formelle Erklärung.

Sei eine nicht konstante, begrenzte und kontinuierliche Funktion.φ

Matthew Drury
quelle
8
Das umfasst Sigmoid und Softmax, aber nicht ReLU. Nach diesem Papier die Eigenschaft gilt auch für einige einige unbeschränkte Funktionen wie relu sowie andere.
Jodag
3

Multilayer-Feedforward-Netzwerke sind eine veröffentlichte Referenz, die sich mit dem Problem befasst. Polynomaktivierungsfunktionen haben nicht die universelle Approximationseigenschaft.

Der Preprint NN mit unbegrenzten Aktivierungsfunktionen deckt viele Aktivierungsfunktionen ab. Es wird nur eine einzelne verborgene Schicht NN betrachtet. Es ist schwer auf Fourier-Analyse.

Ich betone, dass die zweite Referenz ein Vordruck ist, da ich nicht für ihre Richtigkeit bürgen kann. Leshno et al. 1993 ist eine rezensierte Publikation.

VictorZurkowski
quelle