Ein Bereich des maschinellen Lernens, der sich mit dem Lernen hierarchischer Darstellungen der Daten befasst, hauptsächlich mit tiefen neuronalen Netzen.
Ich trainiere ein neuronales Netzwerk, aber der Trainingsverlust nimmt nicht ab. Wie kann ich das beheben? Ich frage nicht nach Überanpassung oder Regularisierung. Ich frage, wie ich das Problem lösen soll, bei dem sich die Leistung meines Netzwerks im Trainingssatz nicht verbessert . Diese...
Der Stand der Technik der Nichtlinearität ist die Verwendung von gleichgerichteten Lineareinheiten (ReLU) anstelle der Sigmoidfunktion in einem tiefen neuronalen Netzwerk. Was sind die Vorteile? Ich weiß, dass das Trainieren eines Netzwerks bei Verwendung von ReLU schneller wäre, und es ist...
Kürzlich habe ich über tiefes Lernen gelesen und ich bin verwirrt über die Begriffe (oder sagen wir Technologien). Was ist der Unterschied zwischen Faltungsneurale Netze (CNN), Eingeschränkte Boltzmann-Maschinen (RBM) und Auto-Encoder?
Ich habe die Frage nicht genau in diesen Begriffen gesehen, und aus diesem Grund stelle ich eine neue Frage. Was mich interessiert, ist nicht die Definition eines neuronalen Netzwerks, sondern das Verstehen des tatsächlichen Unterschieds zu einem tiefen neuronalen Netzwerk. Für mehr Kontext: Ich...
Ich mache gerade das Udacity Deep Learning Tutorial. In Lektion 3 sprechen sie über eine 1x1-Faltung. Diese 1x1-Faltung wird im Google Inception-Modul verwendet. Ich habe Probleme zu verstehen, was eine 1x1-Faltung ist. Ich habe auch diesen Beitrag von Yann Lecun gesehen. Könnte mir das bitte...
Es gibt einige Variationen beim Normalisieren der Bilder, aber die meisten scheinen diese beiden Methoden zu verwenden: Subtrahiere den über alle Bilder berechneten Mittelwert pro Kanal (zB VGG_ILSVRC_16_layers ) Über alle Bilder berechnete Subtraktion nach Pixel / Kanal (z. B. CNN_S , siehe auch...
In den letzten Jahren sind neuronale Faltungsnetze (oder vielleicht auch tiefe neuronale Netze im Allgemeinen) immer tiefer geworden, wobei die Netze auf dem neuesten Stand der Technik von 7 Schichten ( AlexNet ) auf 1000 Schichten ( Residual Nets) innerhalb von 4 Schichten übergegangen sind Jahre....
Eine Epoche in stochastischer Gradientenabnahme ist definiert als ein einzelner Durchgang durch die Daten. Für jedes SGD-Minibatch werden kkk Proben gezogen, der Gradient berechnet und die Parameter aktualisiert. In der Epocheneinstellung werden die Muster ersatzlos gezogen. Dies erscheint jedoch...
Ich habe den Eindruck, dass, wenn man sich auf ein "Deep Believe" -Netzwerk bezieht, dies im Grunde genommen ein neuronales Netzwerk ist, aber sehr groß. Ist das richtig oder impliziert ein tiefes Glaubensnetzwerk auch, dass der Algorithmus selbst anders ist (dh kein vorwärtskoppelndes neuronales...
Ich habe mich gefragt, ob es da draußen gute R-Bibliotheken für tieflernende neuronale Netze gibt. Ich weiß, dass es die nnet, neuralnetund gibt RSNNS, aber keine davon scheint Deep-Learning-Methoden zu implementieren. Ich interessiere mich besonders für unbeaufsichtigtes, gefolgt von...
Ich bin neu im Bereich Deep Learning und für mich war der erste Schritt, interessante Artikel von deeplearning.net zu lesen. In Artikeln über tiefes Lernen sprechen Hinton und andere hauptsächlich davon, es auf Bildprobleme anzuwenden. Kann jemand versuchen, mir zu antworten? Kann dies auf das...
In den meisten Tensorflow-Codes, die ich gesehen habe, wird Adam Optimizer mit einer konstanten Lernrate von 1e-4(dh 0,0001) verwendet. Der Code sieht normalerweise so aus: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to...
Es gibt wiederkehrende neuronale Netze und rekursive neuronale Netze. Beide werden normalerweise mit dem gleichen Akronym bezeichnet: RNN. Laut Wikipedia sind Recurrent NN in der Tat Recursive NN, aber ich verstehe die Erklärung nicht wirklich. Außerdem scheine ich nicht zu finden, was (mit...
In einem kürzlich veröffentlichten Blog-Beitrag von Rong Ge hieß es: Es wird angenommen, dass für viele Probleme, einschließlich des Lernens tiefer Netze, fast alle lokalen Minima einen sehr ähnlichen Funktionswert aufweisen wie das globale Optimum, und daher ist es gut genug, ein lokales Minimum...
In den letzten Jahren sind Convolutional Neural Networks (CNNs) zum Stand der Technik für die Objekterkennung in der Computersicht geworden. Typischerweise besteht ein CNN aus mehreren Faltungsschichten, gefolgt von zwei vollständig verbundenen Schichten. Eine Intuition dahinter ist, dass die...
Al Rahimi hat kürzlich in NIPS 2017 einen sehr provokanten Vortrag gehalten, in dem er das aktuelle maschinelle Lernen mit Alchemie vergleicht. Eine seiner Behauptungen ist, dass wir zu theoretischen Entwicklungen zurückkehren müssen, um einfache Theoreme zu haben, die grundlegende Ergebnisse...
Ich versuche den Faltungsteil von neuronalen Faltungsnetzen zu verstehen. Betrachten Sie die folgende Abbildung: Ich habe keine Probleme, die erste Faltungsschicht zu verstehen, in der wir 4 verschiedene Kernel (mit der Größe ) haben, die wir mit dem Eingabebild falten, um 4 Merkmalskarten zu...
Ich möchte Neuronale Netze lernen. Ich bin ein Computerlinguist. Ich kenne statistische Methoden des maschinellen Lernens und kann in Python programmieren. Ich möchte mit seinen Konzepten beginnen und ein oder zwei populäre Modelle kennen, die aus Sicht der Computerlinguistik nützlich sein...
Ich habe festgestellt, dass Imagenet und andere große CNN lokale Antwortnormalisierungsschichten verwenden. Ich kann jedoch nicht so viele Informationen über sie finden. Wie wichtig sind sie und wann sollten sie angewendet werden? Von
Ich fand eine gleichgerichtete Lineareinheit (ReLU), die an mehreren Stellen als Lösung für das Problem des verschwindenden Gradienten für neuronale Netze gelobt wurde . Das heißt, man verwendet max (0, x) als Aktivierungsfunktion. Wenn die Aktivierung positiv ist, ist dies offensichtlich besser...