Ich habe extrem spärliche Eingaben, z. B. Positionen bestimmter Merkmale in einem Eingabebild. Darüber hinaus kann jedes Merkmal mehrere Erkennungen haben (nicht sicher, ob dies einen Einfluss auf das Design des Systems hat). Dies werde ich als k-Kanal-Binärbild mit EIN-Pixeln präsentieren, die das...
Ich habe gelernt, dass eine Überanpassung erkannt werden kann, indem der Trainingsfehler und der Testfehler gegen die Epochen aufgetragen werden. Wie in: Ich habe diesen Blogpost gelesen, in dem sie sagen, dass das neuronale Netzwerk net5 überpasst und sie diese Zahl liefern: Was für mich seltsam...
Ich möchte ein neuronales Netzwerk mit einer Zeichenfolge als Eingabevektor trainieren. Lernbeispiele sind unterschiedlich lang und aus diesem Grund weiß ich nicht, wie ich sie darstellen soll. Angenommen, ich habe zwei Beispiele für Sequenzen, hier Namen: john doe maurice delanoe Das erste...
In CNN lernen wir Filter, um eine Feature-Map in einer Faltungsschicht zu erstellen. In Autoencoder kann die einzelne verborgene Einheit jeder Ebene als Filter betrachtet werden. Was ist der Unterschied zwischen den Filtern, die in diesen beiden Netzwerken gelernt
Mein Lehrer hat bewiesen, dass das 2. Derivat der Kreuzentropie immer positiv ist, so dass die Kostenfunktion neuronaler Netze mit Kreuzentropie konvex ist. Ist das wahr? Ich bin ziemlich verwirrt darüber, weil ich immer gelernt habe, dass die Kostenfunktion von ANN nicht konvex ist. Kann jemand...
Ich habe es mit einem Problem zu tun, das mit dem Finden des Gradienten der Kreuzentropieverlustfunktion für den Parameter θθ\theta wobei: CE(θ)=−∑iyi∗log(y^i)CE(θ)=−∑iyi∗log(y^i)CE(\theta) = -\sum\nolimits_{i}{y_i*log({\hat{y}_{i}})} Wobei y i = s o f t m ein x ( θ i ) und θ i ist ein...
Ich möchte ein neuronales Netzwerk verwenden, um finanzielle Zeitreihen vorherzusagen. Ich komme aus einem IT-Umfeld und habe einige Kenntnisse über neuronale Netze. Ich habe darüber gelesen: TDNN RNN Ich habe nach R-Paketen für sie gesucht und nur eines für RNN gefunden, das RSNNS-Paket, das...
Autoencoder- Netzwerke scheinen viel schwieriger zu sein als normale Klassifikator-MLP-Netzwerke. Nach mehreren Versuchen mit Lasagne ist alles, was ich in der rekonstruierten Ausgabe bekomme, etwas, das im besten Fall einer verschwommenen Mittelung aller Bilder der MNIST- Datenbank ähnelt, ohne zu...
Wie wirkt sich die Auswahl von Wortvektoren aus (Eingabewortmatrix) im Vergleich zu Wortvektoren aus W ' (Ausgabewortmatrix) in den CBOW- und Sprunggrammmodellen von word2vec auf die Qualität der resultierenden Wortvektoren aus?W.WWW′W′W' CBOW: Skip-Gramm:
Ich versuche die Architektur von RNNs zu verstehen. Ich habe dieses Tutorial gefunden, das sehr hilfreich war: http://colah.github.io/posts/2015-08-Understanding-LSTMs/ Besonders dieses Bild: Wie passt das in ein Feed-Forward-Netzwerk? Ist dieses Bild nur ein weiterer Knoten in jeder...
Ich lese dieses Papier: Skype-Übersetzer, bei dem CD-DNN-HMMs (kontextabhängige tiefe neuronale Netze mit Hidden-Markov-Modellen) verwendet werden. Ich kann die Idee des Projekts und die Architektur, die sie entworfen haben, verstehen, aber ich verstehe nicht, was die Senone sind . Ich habe nach...
Nach dem Lesen vieler Deep-Learning-Artikel besteht eine Art raues Gefühl darin, dass es viele Tricks gibt, das Netzwerk zu trainieren, um eine überdurchschnittliche Leistung zu erzielen. Aus Sicht der Branchenanwendungen ist es sehr schwierig, diese Art von Tricks zu entwickeln, mit Ausnahme der...
Nach "Efficient Backprop" von LeCun et al. (1998) ist es empfehlenswert, alle Eingaben so zu normalisieren, dass sie um 0 zentriert sind und im Bereich der maximalen zweiten Ableitung liegen. So würden wir zum Beispiel [-0.5,0.5] für die "Tanh" -Funktion verwenden. Dies soll den Fortschritt der...
Das Problem ist: Leiten Sie den Gradienten in Bezug auf die Eingabeschicht für ein einzelnes neuronales Netzwerk mit versteckter Schicht ab, indem Sie Sigmoid für Eingabe -> versteckt, Softmax für versteckt -> Ausgabe mit einem Kreuzentropieverlust verwenden. Ich kann den größten Teil...
Angenommen, ich möchte ein tiefes neuronales Netzwerk trainieren, um eine Klassifizierung oder Regression durchzuführen, aber ich möchte wissen, wie sicher die Vorhersage sein wird. Wie könnte ich das erreichen? Meine Idee ist es, die Kreuzentropie für jedes Trainingsdatum basierend auf seiner...
Ich lerne über Deep Learning (insbesondere CNNs) und wie es normalerweise sehr viele Daten erfordert, um eine Überanpassung zu verhindern. Mir wurde jedoch auch gesagt, dass je höher die Kapazität / mehr Parameter eines Modells sind, desto mehr Daten erforderlich sind, um eine Überanpassung zu...
Bei der Anwendung von Dropout in künstlichen neuronalen Netzen muss die Tatsache kompensiert werden, dass zum Zeitpunkt des Trainings ein Teil der Neuronen deaktiviert wurde. Dazu gibt es zwei gemeinsame Strategien: Skalieren der Aktivierung zur Testzeit Umkehren des Aussetzers während der...
Meine Frage betrifft die Beziehung zwischen der Hypothese der effizienten Codierung, die auf der Wikipedia-Seite über effiziente Codierung und Lernalgorithmen für neuronale Netze beschrieben wird. Welche Beziehung besteht zwischen der Hypothese der effizienten Codierung und neuronalen...
Hintergrund: Ich verwende in meiner Lernaufgabe zur Verstärkung die Q-Wert-Näherung des neuronalen Netzwerks. Der Ansatz ist genau der gleiche wie der in dieser Frage beschriebene , jedoch ist die Frage selbst anders. Bei diesem Ansatz ist die Anzahl der Ausgaben die Anzahl der Aktionen, die wir...
Es gibt so viele Regularisierungstechniken, dass es nicht praktisch ist, alle Kombinationen auszuprobieren: l1 / l2 max norm aussteigen frühes Anhalten ... Es scheint, dass die meisten Menschen mit einer Kombination aus Ausfall und frühem Abbruch zufrieden sind: Gibt es Fälle, in denen die...