Universeller Approximationssatz für Faltungsnetzwerke
14
Der universelle Approximationssatz ist ein ziemlich bekanntes Ergebnis für neuronale Netze, das im Grunde besagt, dass unter bestimmten Annahmen eine Funktion durch ein neuronales Netz mit beliebiger Genauigkeit einheitlich approximiert werden kann.
Gibt es ein analoges Ergebnis, das für Faltungs-Neuronale Netze gilt?
Dies ist eine interessante Frage, es fehlt jedoch eine angemessene Klärung dessen, was als Faltungs-Neuronales Netzwerk angesehen wird .
Ist die einzige Voraussetzung , dass das Netzwerk aufzunehmen hat eine Faltungsoperation? Muss es nur Faltungsoperationen beinhalten? Werden Pooling-Operationen zugelassen? In der Praxis verwendete Faltungsnetzwerke verwenden eine Kombination von Operationen, häufig einschließlich vollständig verbundener Schichten (sobald Sie eine vollständig verbundene Schicht haben, verfügen Sie über eine theoretische universelle Approximationsfähigkeit).
Betrachten Sie den folgenden Fall, um eine Antwort zu erhalten: Eine vollständig verbundene Schicht mit Eingängen und K Ausgängen wird unter Verwendung einer Gewichtsmatrix W ∈ R K × D realisiert . Sie können diesen Vorgang mit 2 Faltungsschichten simulieren:D.K.W.∈ R.K.× D.
Der erste Teil hat Filter der Form D . Das Element d des Filters k , d ist gleich W k , d , der Rest sind Nullen. Diese Schicht transformiert die Eingabe in einen K D -dimensionalen Zwischenraum, in dem jede Dimension ein Produkt eines Gewichts und seiner entsprechenden Eingabe darstellt.K.× D.D.dk , dW.k , dK.D.
Die zweite Schicht enthält Filter aus Form K D . Die Elemente k D … ( k + 1 ) D des Filters k sind Einsen, der Rest sind Nullen. Diese Schicht führt die Summierung von Produkten aus der vorherigen Schicht durch.K.K.D.k D … ( k + 1 ) D.k
Ein solches Faltungsnetzwerk simuliert ein vollständig verbundenes Netzwerk und verfügt somit über die gleichen universellen Approximationsfähigkeiten. Es liegt an Ihnen zu überlegen, wie nützlich ein solches Beispiel in der Praxis ist, aber ich hoffe, es beantwortet Ihre Frage.
Eine solche Konstruktion ist ziemlich offensichtlich, gilt jedoch nur mit z. B. Null-Auffüllungs-Randbedingungen. Mit der natürlicheren Anforderung von z. B. periodischen Randbedingungen (wodurch die Operatorübersetzung äquivariant wird) schlägt dies fehl.
Jonas Adler
1
Ja, diese offensichtliche Konstruktion setzt voraus, dass die Faltung nur auf den Eingang angewendet wird (kein Auffüllen). Wie gesagt, wenn Sie nicht angeben, was zulässig ist und was nicht unter Ihrer Definition von CNN steht, gehe ich davon aus, dass dies ein gültiger Ansatz ist. Beachten Sie auch, dass die praktischen Auswirkungen der UAT praktisch keine sind. Daher bin ich mir nicht sicher, ob es überhaupt Sinn macht, sich zu tief damit zu befassen, verschiedene Versionen von CNN zu spezifizieren und für jede von ihnen etwas Ähnliches zu demonstrieren.
Der Artikel zeigt, dass jede translatorische äquivariante Funktion durch ein Faltungsnetzwerk beliebig gut approximiert werden kann, da sie in direkter Analogie zum klassischen universellen Approximationssatz ausreichend breit ist.
Siehe das Papier Universalität tiefer Faltungs-Neuronaler Netze von Ding-Xuan Zhou , das zeigt, dass Faltungs-Neuronale Netze universell sind, dh sie können jede kontinuierliche Funktion mit beliebiger Genauigkeit approximieren, wenn die Tiefe des Neuronalen Netzes groß genug ist.
Es scheint, dass diese Frage in diesem kürzlich erschienenen Artikel von Dmitry Yarotsky bejaht wurde: Universelle Approximationen invarianter Karten durch neuronale Netze .
Der Artikel zeigt, dass jede translatorische äquivariante Funktion durch ein Faltungsnetzwerk beliebig gut approximiert werden kann, da sie in direkter Analogie zum klassischen universellen Approximationssatz ausreichend breit ist.
quelle
Siehe das Papier Universalität tiefer Faltungs-Neuronaler Netze von Ding-Xuan Zhou , das zeigt, dass Faltungs-Neuronale Netze universell sind, dh sie können jede kontinuierliche Funktion mit beliebiger Genauigkeit approximieren, wenn die Tiefe des Neuronalen Netzes groß genug ist.
quelle