Tiefe neuronale Netze - Nur zur Bildklassifizierung?

14

Alle Beispiele, die ich mit Deep-Believe- oder Faltungs-Neuronalen Netzen gefunden habe, verwenden sie zur Bildklassifizierung, zur Erkennung von Chat-Zeichen oder zur Spracherkennung.

Sind tiefe neuronale Netze auch für klassische Regressionsaufgaben nützlich, bei denen die Merkmale nicht strukturiert sind (z. B. nicht in einer Sequenz oder einem Gitter angeordnet sind)? Wenn ja, können Sie ein Beispiel nennen?

julianisch
quelle
3
Ihr erster Satz bringt Faltungs-Neuronale Netze hervor. Es scheint, dass Sie sie mit Deep-Believe-Netzwerken verwechseln. Sie sind nicht dasselbe, obwohl beide Formen neuronaler Netze sind.
MSalters 18.11.15
1
Ich stimme @msalters zu, würde aber sagen, dass Deep-Believe-Netzwerke wirklich tiefe Netzwerke sind und nur begrenzten Erfolg haben, wohingegen Faltungsnetze eher hybriden adaptiven Bildfiltern in Faltungsschichten, gefolgt von flachem nn, ähneln.
Seanv507
Was meinen Sie mit "Beobachtungen", die "nicht strukturiert (nicht in einer Reihenfolge oder einem Raster angeordnet)" sind? Beziehen Sie sich auf Bilder, die "strukturiert" sind, in dem Sinne, dass einzelne Pixel in einem Raster angeordnet sind? Aber dann sind es Merkmale, die "strukturiert" sind, nicht "Beobachtungen" (das wären einzelne Bilder)?
Amöbe sagt Reinstate Monica
Ich würde sagen, dass alle Faltungsnetzwerke tief sind, nicht alle sind tiefe Netzwerke sind Faltung, und in ähnlicher Weise sind alle Deep-Believe-Netzwerke tief, nicht alle Deep-Believe-Netzwerke sind Deep-Believe-Netzwerke. In der Tat kann es tiefe Netzwerke geben, die weder tief noch faltungsmäßig sind. Sie sind nur schwer zu trainieren. Es gibt jedoch durchaus Raum für eine sinnlose Debatte über die Terminologie.
Lyndon White
Sie können ein Faltungsnetzwerk nicht auf unstrukturierte Daten (nicht in Sequenz / Gitter usw.) anwenden. Das ergibt im Grunde keinen Sinn. Ein Faltungsnetzwerk hängt eng mit der Fourier-Transformation Ihrer Eingaben zusammen, z. B. für Sequenzen, die es vom Zeitbereich in den Frequenzbereich konvertieren.
Lyndon White

Antworten:

8

Die Eigenschaften von Bildern, die eine Klassifizierung in einem tiefen neuronalen Netzwerk ermöglichen, sind eine Vielzahl von Merkmalen (möglicherweise Millionen, wenn nicht Milliarden von Pixeln mit RGB, Intensität usw.), und wenn Sie genaue Beschriftungen haben, sind es keine verrauschten Daten. Kameras sind heutzutage sehr gut und sie messen nichts falsch. Dank des Internets haben wir jetzt viele genau beschriftete Bilder. Ein tiefes Netzwerk kann willkürlich komplizierte Funktionen ausdrücken, was ein Problem bei verrauschten Daten ist, da Sie das Rauschen sehr leicht überlagern können, weshalb viele Lernmethoden dazu neigen, komplizierte Modelle zu benachteiligen. Bei der Bilderkennung scheint die eigentliche Funktion jedoch sehr kompliziert zu sein, wir haben keine Ahnung, wie die funktionale Form aussieht, und wir wissen in vielen Fällen nicht einmal, welche Merkmale relevant sind.

Dies bedeutet nicht, dass Sie keine tiefen Netzwerke verwenden können, um Funktionen zu erlernen, die nichts mit Bildern zu tun haben. Sie müssen nur sehr vorsichtig mit den Nachteilen umgehen, vor allem, dass es sehr anfällig für Überanpassungen ist, aber auch, dass es rechenintensiv ist und lange trainieren kann (heutzutage kein Problem mit parallelisierten SGDs und GPUs). Der andere Nachteil ist, dass Sie kaum oder gar keine Interpretierbarkeit des Modells haben, was für die Bildklassifizierung nicht wirklich wichtig ist. Wir versuchen nur, Computer dazu zu bringen, den Unterschied zwischen einem Schimpansen und einem Orang-Utan zu erkennen. Das menschliche Verständnis der Formel spielt keine Rolle. Für andere Bereiche, insbesondere medizinische Diagnostik, Richtlinienforschung usw., möchten oder benötigen Sie möglicherweise sogar menschliches Verständnis.

Adam Acosta
quelle
5

Sicher können Sie tiefe neuronale Netze für viele Probleme außer für die Bild- oder Spracherkennung verwenden. Das Problem ist, wenn Sie es wirklich brauchen.

Tiefe neuronale Netze sind weitaus leistungsfähiger als ein einfacher MLP, beanspruchen jedoch auch mehr Ressourcen und sind schwieriger zu entwickeln. Sie werden daher in sehr komplexen Bereichen eingesetzt. Sie könnten sie verwenden, um einfachere Probleme zu lösen, aber in der Regel erzielen auch einfachere Modelle gute Ergebnisse.

Wenn Sie tiefe neuronale Netze für einfache Probleme verwenden, werden Sie Fliegen mit einer Panzerfaust töten. Sicher, Sie werden sie töten, aber könnten Sie keinen einfacheren Weg finden?

Davidivad
quelle
2
Dies ist keine Antwort. Was ist einfach, was ist schwer? Vorhersagen über den Aktienmarkt / Extrapolieren anhand begrenzter Beispiele / ... GIBT ES viele schwierige Probleme, die tiefgreifend sind?
Seanv507
Ich habe nicht gesagt, dass tiefe neuronale Netze irgendetwas lösen können. Was ich damit gemeint habe ist, dass sie in komplexen Domänen verwendet werden, in denen Sie eine große Anzahl von Einträgen haben. Ich weiß, dass sie nicht jedes Problem lösen können, aber es ist nicht der Punkt in dieser Frage. Der Punkt ist hervorzuheben, dass sie auf andere Probleme als die Bild- / Spracherkennung angewendet werden könnten, aber sie haben Nachteile, die in den Fällen, in denen andere Modelle angewendet werden könnten, in Betracht gezogen werden sollten.
Davidivad
5

Ich stimme der Antwort von Davidivad zu. Aber ich denke auch, dass die Anwendung von tiefen neuronalen Netzen auf Bilder darin besteht, dass Bilder (und vor allem beschriftete Bilder) relativ kostengünstig zu sammeln sind. In anderen Bereichen kann es sehr kostspielig sein, Daten in großem Umfang zu erfassen, insbesondere unter den Bedingungen eines typischen Industrie- oder Regierungsunternehmens. Zu diesem Problem kommt hinzu, dass das Phänomen von Interesse in vielen Anwendungen relativ selten auftritt, sodass es nur wenige Beispiele gibt, aus denen man lernen kann, sodass selbst bei einem relativ umfangreichen Datenerfassungsaufwand möglicherweise nur eine geringe Anzahl von Mitgliedern einer Klasse anwesend ist.

Sycorax sagt Reinstate Monica
quelle