Was sind die aktuellen Faltungs-Neuronalen Netze auf dem neuesten Stand der Technik?

Ich bin daran interessiert zu verstehen, welche neuronale Netzwerkarchitektur derzeit auf dem neuesten Stand der Technik (manchmal mit "SOTA" abgekürzt) in Bezug auf Standardbildklassifizierungsaufgaben wie MNIST, STLN-10 und CIFAR ist. Dies ist eine Herausforderung, da häufig neue Ergebnisse veröffentlicht werden und es schwierig sein kann, Schritt zu halten. Gibt es eine Ressource oder Website, die die besten Ergebnisse für diese Aufgaben erfasst?

Auf dieser Website wird eine Art "Bestenliste" geführt, " Ergebnisse von Klassifizierungsdatensätzen ". Die Betreuer versuchen, die veröffentlichten Ergebnisse verschiedener neuronaler Netzwerkarchitekturen zu verfolgen.

Die Rangliste ist nicht nur auf CNNs per se beschränkt - jedes Netzwerk ist zulässig. Da es sich bei allen in der Rangliste erfassten Aufgaben um Image-Aufgaben handelt (Stand dieses Schreibens), handelt es sich wahrscheinlich bei vielen Netzwerken um CNNs, da sie bei Image-Aufgaben sehr effektiv sind.

Der beste Vorschlag ist von Shimao:

In der Regel verfügt jedes neue Papier, das für eine Aufgabe eine gute oder hochmoderne Leistung erbringt, über eine ziemlich umfassende Ergebnistabelle, die mit früheren Ergebnissen verglichen wird. Dies kann eine gute Möglichkeit sein, den Überblick zu behalten.

Jede Rangliste wird bald unbrauchbar, da sie im Grunde immer von (Studenten / Absolventen) gepflegt wird, die aufhören, sie zu aktualisieren, sobald sie ihren Abschluss bekommen / einen Job bekommen. Wie auch immer, wenn CIFAR-10 und CIFAR-100 gut genug für Sie sind, ist dies ziemlich gut:

https://github.com/arunpatala/cifarSOTA

Dieser ist allgemeiner (einschließlich ImageNet) und hat neuere Ergebnisse:

https://github.com/Lextal/SotA-CV

Dies ist die, die ich früher verwendet habe, aber der Eigentümer hat die Aktualisierung eingestellt, wie es häufig vorkommt:

https://github.com/RedditSota/state-of-the-art-result-for-machine-learning-problems/

Schließlich könnte Sie dieses Jupyter- Notizbuch interessieren, das gerade heute von Ali Rahimi veröffentlicht wurde und auf Daten basiert, die von LSVRC und der COCO-Website stammen.

Ein letzter Hinweis: Wenn Sie nach den neuesten Ergebnissen suchen, weil Sie Ihre Ergebnisse mit SotA vergleichen möchten, ist das großartig. Wenn Ihr Ziel jedoch darin besteht, die „beste“ Architektur in ImageNet mithilfe von Transfer Learning auf eine industrielle Anwendung anzuwenden, sollten Sie wissen (falls Sie dies noch nicht getan haben), dass die neuesten Architekturen in Bezug auf die Übersetzungsinvarianz schlechter sind als die älteren . Dies ist ein Risiko, wenn Ihr Datensatz keine Vorurteile gegenüber Fotografen aufweist oder wenn Sie nicht über genügend Rechenleistung und Daten verfügen, um die Architektur für eine nützlichere Bildverteilung neu zu trainieren. Siehe den ausgezeichneten Vorabdruck:

Azulay & Weiss, 2018, mehr „Warum verallgemeinern tiefe Faltungsnetzwerke so schlecht auf kleine Bildtransformationen?“

DenseNet ist ein generischer Nachfolger von ResNet und erreicht bei CIFAR-10 einen Fehler von 3,46% und bei C-100 einen Fehler von 17,18%. Vergleiche mit 3.47 und 24.28 in der Rangliste.

Shake-Shake , Shake-Drop und möglicherweise andere Varianten sind Regularisierungstechniken, die für alle ResNet-ähnlichen Architekturen verwendet werden können und bei C-10 einen Fehler von 2,86 / 2,31% und bei C-100 einen Fehler von 15,85 / 12,19% erzielen (Shake-Shake / Shake-). fallen). Diese Techniken funktionieren nur bei Architekturen mit mehreren Zweigen, weshalb ich sie erwähne, obwohl sie an sich keine strengen Architekturen sind.

Effiziente Suche nach neuronalen Architekturen (unter Verwendung von Verstärkungslernen zur Suche nach Architekturen) findet ein Netzwerk, das unter Verwendung der Cutout- Regularisierungstechnik einen Fehler von 2,89% auf C-10 erzielt . Die Leistung beträgt 3,54% ohne Aussparung.

Zusammenfassend: Dense Net und möglicherweise einige von ENAS produzierte Netzwerke weisen möglicherweise eine etwas bessere Leistung als ResNet auf, aber die Verwendung ausgefeilter Regularisierungstechniken erschwert den Vergleich zugegebenermaßen.

Ich kenne keine Rangliste, die wirklich auf dem neuesten Stand ist, aber normalerweise hat jedes neue Papier, das eine gute oder hochmoderne Leistung für eine Aufgabe beansprucht, eine ziemlich umfassende Ergebnistabelle, die mit früheren Ergebnissen verglichen werden kann guter Weg, um den Überblick zu behalten.

Für die Überprüfung modernster neuronaler Netzwerkarchitekturen (und anderer Modelle für maschinelles Lernen) in verschiedenen Anwendungsbereichen gibt es jetzt eine Seite namens Paperswithcode .