Rechenleistung neuronaler Netze?

13

Angenommen, wir haben ein einschichtiges neuronales Feed-Forward-Netzwerk mit k Eingängen und einem Ausgang. Es berechnet eine Funktion aus . Es ist ziemlich leicht zu erkennen, dass diese mindestens die gleiche Rechenleistung wie A C 0 hat . Nur zum Spaß nennen wir den Satz von Funktionen, die von einem neuronalen Einschichtnetzwerk berechenbar sind, " N e u r a l ".{0,1}n{0,1}EINC0Neureinl

Es scheint jedoch, dass es mehr Rechenleistung als allein haben könnte.EINC0

Also ... ist oder ist N e u r a l = A C 0 ? Wurde diese Art von Komplexitätsklasse auch schon einmal untersucht?EINC0NeureinlNeureinl=EINC0

gabgoh
quelle
1
Ein Hinweis zur Terminologie - wichtige Information ist, wie viele versteckte Ebenen es gibt. Neuronales Netzwerk mit einer versteckten Schicht und einer Ausgabe ist nur eine lineare Schwellenfunktion und wird oft (verwirrenderweise) als neuronales Netzwerk / Perzeptron mit einer Schicht oder mit zwei Schichten bezeichnet, je nachdem, ob Eingaben / Ausgaben als Schichten betrachtet werden. In der AI-Literatur werden neuronale Netze typischerweise in Form von Sigmoid-Funktionen definiert, was bedeutet, dass Ein- / Ausgaben reelle Werte sind. Es ist bekannt, dass ein Hidden-Layer-Netzwerk universelle Approximatoren in dem Sinne sind, dass jede kontinuierliche Funktion beliebig nahe angenähert werden kann
Jaroslaw Bulatow,

Antworten:

16

Es gibt einige Referenzen, die ich finden könnte: Allzweckberechnung mit neuronalen Netzen: Eine Übersicht über komplexitätstheoretische Ergebnisse, 2003 und Zählhierarchien: Polynomzeit- und Konstanttiefenschaltungen, 1993 .

Es scheint, dass neuronale Netze als Schwellenwertschaltungen betrachtet werden; dh diese Schaltkreise, die MAJORITY-Gatter verwenden. In (2) ist es der Fall , dass eine Tiefe neurale Netzwerkkomplexität hat T C 0 D (hier ist ein Link zu Link zu Komplexität Zoo Eintrag über T C 0 ).dTCd0TC0

TC0EINCC0EINC0EINC0TC0

d

M. Alaggan
quelle
TC0