Ich habe meine Masterarbeit über Deep Generative Models gemacht und suche derzeit nach einem neuen Fach.
F: Was sind die "heißesten" Forschungsthemen, die in letzter Zeit der Deep-Learning-Community viel Aufmerksamkeit schenken?
Einige Klarstellungen:
- Ich habe ähnliche Fragen durchgesehen und keine von ihnen hat meine Frage beantwortet.
- Ich komme aus einem rein mathematischen Hintergrund, bin erst vor einem Jahr zum Deep Learning übergegangen und meine Forschung zu generativen Modellen war größtenteils theoretisch. Das heißt, der größte Teil meiner Arbeit drehte sich um strukturierte Wahrscheinlichkeitsmodelle und ungefähre Schlussfolgerungen. Trotzdem muss ich noch reale Anwendungen des tiefen Lernens untersuchen.
- Ich habe meine Hausaufgaben gemacht, bevor ich die Frage gestellt habe. Mein Ziel war es, den Input von ai SE zu diesem Thema zu erhalten und zu sehen, woran die Leute arbeiten.
deep-learning
ai-field
Achraf Oussidi
quelle
quelle
Antworten:
Die heißen Themen von heute könnten die kalte, feuchte Asche von morgen sein. Beispielsweise hat die Konvergenzgeschwindigkeit von CNN- und LSTM-Ansätzen, insbesondere in Kombination, erhebliche Aufmerksamkeit von grundlegenden RNN-Designs abgelenkt.
Ebenso könnten die kalten Themen von heute die brennende Glut von morgen sein. Natürlich bleiben einige der kalten Themen kalt. Der Sweet Spot könnte darin bestehen, diejenigen zu identifizieren, die wärmer werden und wahrscheinlich nachhaltige Bausteine für die zukünftige Technologie darstellen.
Restaufmerksamkeitsnetzwerke
Restaufmerksamkeitsnetzwerke wie LSTM-Netzwerke sind eine Verbesserung gegenüber RNNs, die einen anderen Ansatz verwenden. Da Aufmerksamkeitsnetzwerke darauf ausgelegt sind, Ressourcen zu schonen, konvergieren sie entweder schneller oder erfordern weniger Hardware und Netzwerk, um die parallele Ausführung zu unterstützen.
Automatisierte Entwicklung nicht kartesischer Modelle
Die Erforschung der Automatisierung der Modellierung ist der Schlüssel für viele KI-Anwendungen. Einige der in der Entwicklung befindlichen Algorithmen extrahieren nicht einfach Tensoren von Merkmalen (Arrays, Matrizen, Würfel und Hyperwürfel), sondern entwickeln gerichtete oder assoziative Graphmodelle mit oder ohne zulässigen Zyklen.
Signaltopologien, die Gleichgewichte unterstützen
Viele ignorieren die Bedeutung von GANs, nicht weil sie interessante Dinge mit Bildern tun können, sondern weil sie von der einfachen Topologie des Signalpfads abweichen, bei der die Konvergenz eines trainierten Parametersatzes über eine eindimensionale Anordnung von Schichten und Blöcken von erreicht wird Schichten.
Die diskriminierenden und generativen Komponenten im GAN-Design werden in einer anderen AI Stack Exchange-Frage zu * Grundlegendes zur GAN-Verlustfunktion ausführlich beschrieben . Obwohl die Erzeugung von Bildern aus dem GAN-Ansatz und seinen konzeptionellen Kindern eine neue Fähigkeit im künstlichen Netzwerkraum zeigt, ist die Breite dieser Bedeutung für mehrere Netzwerke möglicherweise nicht sofort offensichtlich. Es ist kein Stapel in der Tiefe von Schichten, sondern ein Stapel von zwei tiefen Netzwerken in einer Topologie von acht, konzeptionell ähnlich einem Möbius-Streifen.
Diese Topologie schafft ein Gleichgewicht zwischen zwei Netzwerken, dem generativen (G) und dem diskriminativen (D). Sein Designer nannte es eine kontroverse Beziehung, weil G und D gegensätzliche Rollen spielen. Ihre Aktion im System ist jedoch tatsächlich kollaborativ und schafft ein Gleichgewicht, das einem chemischen Gleichgewicht oder einer Symbiose in der Biologie sehr ähnlich ist, so dass ein bestimmtes Ziel erreicht wird. Dies könnte die vielversprechendste Richtung in der heutigen KI aufzeigen.
Das Entwerfen von Signaltopologien, die zusätzliche Formen der Zusammenarbeit und Symbiose zwischen Netzwerken unterstützen, wobei jedes Netzwerk eine Komponente ist, die ihre Rolle in Verbindung mit anderen Komponentennetzwerken lernt, sodass das Aggregatsystem seine Funktion lernt und Formen künstlicher Intelligenz synthetisieren kann, die DNNs nicht können.
Regelbasierte Systeme und tiefe Netzwerke sind hinsichtlich des Signalflusses eindimensional. An sich können sich die bemerkenswertesten Merkmale des menschlichen Gehirns niemals annähern.
Parallele Verarbeitung mit GPUs als DSPs
VLSI-Implementierungen von Spiking-Netzwerken sind wichtig, und es gibt jetzt Implementierungen wie https://github.com/Hananel-Hazan/bindsnet , die die GPU-Hardwarebeschleunigung nutzen, um sie zu untersuchen, ohne auf die von großen Unternehmen entwickelten VLSI-Chips zuzugreifen.
Spracherkennung und -synthese für End-to-End-TTS
Das jüngste Aufkommen herausragender Synthesetechnologien mit Systemen wie Googles WaveNet hat die Tür zu genaueren TTS-Anwendungen (Text-to-Sound) geöffnet, so dass es wahrscheinlich ein guter Zeitpunkt ist, Experte für Sprachaufzeichnung für die Verwendung in Trainingsbeispielsätzen zu werden Eine schlechte Zeit, um ein individuelles Sprachproduktionshaus mit Live-Lautsprechern zu eröffnen.
Automatisierte Fahrzeuge
Automatisierte Fahrzeuge verschiedener Typen benötigen Experten für Fahrzeugphysik, Automobilbau, Luftfahrt und Konsumgüter für eine breite Palette von Fahrzeugtypen mit starken wirtschaftlichen und sicherheitstechnischen Anreizen für die Halbautomatisierung und Vollautomatisierung.
Zusammenfassung
Es mag schwierig sein, im Voraus herauszufinden, welche der heißen Technologien in der KI in fünf Jahren dominieren werden oder welche der Erwärmungstechnologien dann glühend heiß sein werden, aber die oben genannten sind solide Technologien, die ein bedeutendes frühes Versprechen zeigen und für die es ein hohes Geschäft gibt. Industrie- und Verbraucheranforderungen.
quelle
Nun, es gibt sicherlich viele Bereiche, in denen Sie einen Beitrag zur Forschung leisten können. Da Sie sagen, dass Sie eine Masterarbeit in tiefen generativen Modellen gemacht haben, gehe ich davon aus, dass Sie sich mit maschinellem und tiefem Lernen auskennen.
Die digitale Epidemiologie ist einer der Bereiche, in denen Sie sicherlich tiefes Lernen anwenden können. Es ist noch ein relativ neues Gebiet im Vergleich zu anderen Zweigen der Computerbiologie. Ein Beispiel wäre, die Auswirkungen der digitalen Online-Aufzeichnung auf die Vorhersage und weitere Prävalenz von Krankheiten zu sehen.
Solche Online-Aufzeichnungen können von verschiedenen Suchmaschinen, Social-Media-Sites und manchmal von Regierungsbehörden empfangen werden. Zum Beispiel können Sie hier ein Beispiel für den Suchbegriff "Hautkrebs" sehen und der entsprechende Datensatz zeigt das Interesse dieses Begriffs auf der ganzen Welt. Diese Daten können verwendet werden, um neue Hypothesen zu finden. Wenn die Daten beispielsweise zeigen, dass wir mehr Interesse an einer bestimmten Region der Welt / des Landes haben, kann dies zeigen, dass die bestimmte Krankheit in dieser Region / diesem Teil / Land der Welt häufiger auftritt. Ähnliche Hypothesen können aufgestellt, gezeichnet und getestet werden. Und sicher kann Deep Learning die Genauigkeit traditioneller Modelle verbessern, die bei der Validierung solcher Hypothesen verwendet werden.
Ein weiteres interessantes Forschungsgebiet könnte der Vergleich von langfristigen kurzfristigen neuronalen Netzen mit den traditionellen Zeitreihenmodellen sein. Ich glaube nicht, dass es auf diesem Gebiet eine ausgereifte Forschung gibt. Vielleicht können Sie hier von diesem guten Blog ausgehen .
Die Signalverarbeitung ist vielleicht ein weiterer sehr interessanter und auch sehr praktischer Bereich, um Theorien auf der Basis von Deep-Learning-Modellen aufzubauen und zu validieren. Mathematik in der Signalverarbeitung kann jedoch ziemlich schwer zu bekommen sein. Für all diese Optionen müssen Sie jedoch in einem Team mit Personen aus den jeweiligen Domänen arbeiten. Das ist, wenn Sie qualitativ hochwertige Forschung produzieren möchten.
Andere Bereiche können NLP sein, insbesondere der Fall der Sprachübersetzung von Hindi nach Urdu oder Persisch, digitales Online-Marketing, Verhaltenswissenschaften, Fertigung und Investitionen. Bestimmte Forschungsbereiche können weiter verbessert werden, wenn Sie Experten aus diesen Bereichen kennen.
quelle