5 Jahre später sind Maxout-Netzwerke tot und warum?

8

Maxout-Netzwerke waren eine einfache, aber brillante Idee von Goodfellow et al. von 2013 bis max Feature Maps, um einen universellen Approximator für konvexe Aktivierungen zu erhalten. Das Design wurde für die Verwendung in Verbindung mit Dropout (damals erst kürzlich eingeführt) zugeschnitten und führte natürlich zu hochmodernen Ergebnissen bei Benchmarks wie CIFAR-10 und SVHN.

Fünf Jahre später ist Dropout definitiv noch im Spiel, aber was ist mit Maxout? Das Papier wird laut Google Scholar in neueren Veröffentlichungen immer noch häufig zitiert, aber es scheint, dass kaum jemand die Technik tatsächlich verwendet.

Ist Maxout also Vergangenheit, und wenn ja, warum - was hat es 2013 zu einem Top-Performer gemacht, aber nicht 2018?

user209974
quelle
2
Dann recherchieren Sie weiter und Sie könnten der nächste Goodfellow sein.
FauChristian

Antworten:

2

Wenn Sie das vollständige Papier (insbesondere das Abstract und den Abschnitt 7) lesen, stellen Sie im Grunde fest, dass die Hauptleistung ein geringfügiger Beitrag über dem Schulabbrecher bleibt.

Wenn Sie die empirischen Ergebnisse in Tabelle 5 (auf Seite 5) des Originalpapiers des Maxouts sehen , stellen Sie fest, dass die Fehlklassifizierungsrate nur sehr, sehr geringfügig niedriger ist als die von Aussetzern. (2,47% statt 2,78%)

Das könnte das relativ geringe Interesse an der Arbeit erklären.

Amrinder Arora
quelle
Danke für deine Antwort. Das Verringern des Fehlers von 2,78% auf 2,47% bedeutet eine Verringerung der Fehlerrate um 11%. Kein Game Changer, aber trotzdem interessant und definitiv nicht winzig.
user209974
Gutes Argument. Wenn dies für Ihre spezifische Anwendung von Interesse ist, lohnt es sich auf jeden Fall, dies zu untersuchen.
Amrinder Arora