In den letzten Jahren sind Convolutional Neural Networks (CNNs) zum Stand der Technik für die Objekterkennung in der Computersicht geworden. Typischerweise besteht ein CNN aus mehreren Faltungsschichten, gefolgt von zwei vollständig verbundenen Schichten. Eine Intuition dahinter ist, dass die...
Ich habe ein einfaches MLP in TensorFlow geschrieben, das ein XOR-Gate modelliert . So für: input_data = [[0., 0.], [0., 1.], [1., 0.], [1., 1.]] es sollte folgendes erzeugen: output_data = [[0.], [1.], [1.], [0.]] Das Netzwerk hat eine Eingangsschicht, eine versteckte Schicht und eine...
Ich bin mit grundlegenden Algorithmen für die Gradientenabsenkung zum Trainieren neuronaler Netze vertraut. Ich habe die Zeitung gelesen, in der Adam vorgeschlagen wird: ADAM: EINE METHODE ZUR STOCHASTISCHEN OPTIMIERUNG . Obwohl ich (zumindest) definitiv einige Einsichten habe , scheint mir das...
Ich versuche den Faltungsteil von neuronalen Faltungsnetzen zu verstehen. Betrachten Sie die folgende Abbildung: Ich habe keine Probleme, die erste Faltungsschicht zu verstehen, in der wir 4 verschiedene Kernel (mit der Größe ) haben, die wir mit dem Eingabebild falten, um 4 Merkmalskarten zu...
Während die Auswahl der Aktivierungsfunktionen für die verborgene Ebene ziemlich klar ist (meistens Sigmoid oder Tanh), frage ich mich, wie ich mich für die Aktivierungsfunktion für die Ausgabeebene entscheiden soll. Häufige Auswahlmöglichkeiten sind lineare Funktionen, Sigmoidfunktionen und...
Ich möchte Neuronale Netze lernen. Ich bin ein Computerlinguist. Ich kenne statistische Methoden des maschinellen Lernens und kann in Python programmieren. Ich möchte mit seinen Konzepten beginnen und ein oder zwei populäre Modelle kennen, die aus Sicht der Computerlinguistik nützlich sein...
Ich versuche, einem mit Backpropagation trainierten neuronalen Netzwerk eine Softmax-Ebene hinzuzufügen, also versuche ich, den Gradienten zu berechnen. Der Softmax-Ausgang ist wobeijdie Ausgangsneuronenzahl ist.hj= ezj∑ ezichhj=ezj∑ezih_j = \frac{e^{z_j}}{\sum{e^{z_i}}}jjj Wenn ich es ableite,...
Ich frage mich, ob jemand vorschlagen könnte, was gute Ausgangspunkte für die Community-Erkennung / Diagrammaufteilung / -Clusterung in einem Diagramm mit gewichteten , ungerichteten Kanten sind. Das fragliche Diagramm hat ungefähr 3 Millionen Kanten und jede Kante drückt den Ähnlichkeitsgrad...
Kann jemand erklären, was maxout-Einheiten in einem neuronalen Netzwerk tun? Wie arbeiten sie und wie unterscheiden sie sich von herkömmlichen Einheiten? Ich habe versucht, das 2013 erschienene "Maxout Network" -Papier von Goodfellow et al. Zu lesen . (aus der Gruppe von Professor Yoshua Bengio),...
Das Momentum wird verwendet, um die Schwankungen der Gewichtsänderungen während aufeinanderfolgender Iterationen zu verringern:αα\alpha wobeiE(w)ist die Fehlerfunktionw- der Vektor der Gewichte,η- Lernrate.Δωi(t+1)=−η∂E∂wi+αΔωi(t),Δωi(t+1)=−η∂E∂wi+αΔωi(t),\Delta\omega_i(t+1) = - \eta\frac{\partial...
Ich mache mich in Statistiken nur nass, also tut es mir leid, wenn diese Frage keinen Sinn ergibt. Ich habe Markov-Modelle verwendet, um versteckte Zustände (unfaire Casinos, Würfelwürfe usw.) und neuronale Netze vorherzusagen und die Klicks der Benutzer auf eine Suchmaschine zu untersuchen. Beide...
Ich versuche, das Ergebnis eines komplexen Systems mithilfe neuronaler Netze (ANNs) vorherzusagen. Die (abhängigen) Ergebniswerte liegen zwischen 0 und 10.000. Die verschiedenen Eingangsvariablen haben unterschiedliche Bereiche. Alle Variablen haben ungefähr normale Verteilungen. Ich betrachte...
Ich fand eine gleichgerichtete Lineareinheit (ReLU), die an mehreren Stellen als Lösung für das Problem des verschwindenden Gradienten für neuronale Netze gelobt wurde . Das heißt, man verwendet max (0, x) als Aktivierungsfunktion. Wenn die Aktivierung positiv ist, ist dies offensichtlich besser...
Warum ist die De-facto-Standard-Sigmoid-Funktion in (nicht-tiefen) neuronalen Netzwerken und logistischen Regressionen so beliebt?11+e−x11+e−x\frac{1}{1+e^{-x}} Warum verwenden wir nicht viele der anderen ableitbaren Funktionen mit einer schnelleren Rechenzeit oder einem langsameren Zerfall (so...
Ich bin auf der Suche nach einem Artikel, der dabei helfen kann, eine Richtlinie zur Auswahl der Hyperparameter einer Deep-Architecture wie gestapelte Auto-Encoder oder Deep-Believe-Netzwerke zu erstellen. Es gibt viele Hyperparameter und ich bin sehr verwirrt, wie ich sie auswählen soll. Auch die...
In ImageNet-Klassifizierungspapieren sind die Fehlerquoten Top 1 und Top 5 wichtige Maßeinheiten für den Erfolg einiger Lösungen. Doch wie hoch sind diese Fehlerquoten? In der ImageNet-Klassifikation mit Deep Convolutional Neural Networks von Krizhevsky et al. Jede Lösung, die auf einer einzelnen...
Ein Problem, das ich im Zusammenhang mit neuronalen Netzen im Allgemeinen und Deep Neural Networks im Besonderen häufig gesehen habe, ist, dass sie "datenhungrig" sind - das heißt, dass sie nur dann eine gute Leistung erbringen, wenn wir einen großen Datenbestand haben mit dem man das netzwerk...
Ich trainiere ein neuronales Netzwerk und der Trainingsverlust nimmt ab, der Validierungsverlust jedoch nicht, oder er sinkt viel weniger als erwartet, basierend auf Referenzen oder Experimenten mit sehr ähnlichen Architekturen und Daten. Wie kann ich das beheben? Was die Frage betrifft Was soll...
Neuronale Netze werden aufgrund ihrer komplexen Struktur häufig als "Black Boxes" behandelt. Dies ist nicht ideal, da es oft von Vorteil ist, einen intuitiven Überblick über die interne Funktionsweise eines Modells zu haben. Was sind Methoden, um die Funktionsweise eines trainierten neuronalen...
Was ist der Unterschied zwischen den Begriffen "Kernel" und "Filter" im Kontext von