Ich trainiere ein künstliches neuronales Netzwerk (Backpropagation, Feed-Forward) mit nicht normal verteilten Daten. Neben dem quadratischen Mittelwertfehler wird in der Literatur häufig der Pearson-Korrelationskoeffizient zur Bewertung der Qualität des trainierten Netzes vorgeschlagen. Aber ist...
Ich beginne meine Doktorandenreise und das ultimative Ziel, das ich mir gesetzt habe, ist die Entwicklung von ANNs, die die Umgebung überwachen, in der sie arbeiten, und ihre Architektur dynamisch an das jeweilige Problem anpassen. Die offensichtliche Implikation ist die Zeitlichkeit der Daten:...
Ich verwende einen auf neuronalen Netzen basierenden Klassifizierer, um eine Klassifizierung für meine Daten in n-dimensional durchzuführen. Dann dachte ich, es wäre vielleicht eine gute Idee, zuerst eine Dimensionsreduzierung wie PCA für meine Daten durchzuführen und dann die PCA-Ergebnisse in den...
Wenn wir den persistenten CD-Lernalgorithmus für eingeschränkte Bolzmann-Maschinen verwenden, starten wir unsere Gibbs-Abtastkette in der ersten Iteration an einem Datenpunkt, aber im Gegensatz zur normalen CD beginnen wir in den folgenden Iterationen nicht über unserer Kette. Stattdessen beginnen...
Ich habe extrem spärliche Eingaben, z. B. Positionen bestimmter Merkmale in einem Eingabebild. Darüber hinaus kann jedes Merkmal mehrere Erkennungen haben (nicht sicher, ob dies einen Einfluss auf das Design des Systems hat). Dies werde ich als k-Kanal-Binärbild mit EIN-Pixeln präsentieren, die das...
Ich habe gelernt, dass eine Überanpassung erkannt werden kann, indem der Trainingsfehler und der Testfehler gegen die Epochen aufgetragen werden. Wie in: Ich habe diesen Blogpost gelesen, in dem sie sagen, dass das neuronale Netzwerk net5 überpasst und sie diese Zahl liefern: Was für mich seltsam...
Ich möchte ein neuronales Netzwerk mit einer Zeichenfolge als Eingabevektor trainieren. Lernbeispiele sind unterschiedlich lang und aus diesem Grund weiß ich nicht, wie ich sie darstellen soll. Angenommen, ich habe zwei Beispiele für Sequenzen, hier Namen: john doe maurice delanoe Das erste...
In CNN lernen wir Filter, um eine Feature-Map in einer Faltungsschicht zu erstellen. In Autoencoder kann die einzelne verborgene Einheit jeder Ebene als Filter betrachtet werden. Was ist der Unterschied zwischen den Filtern, die in diesen beiden Netzwerken gelernt
Mein Lehrer hat bewiesen, dass das 2. Derivat der Kreuzentropie immer positiv ist, so dass die Kostenfunktion neuronaler Netze mit Kreuzentropie konvex ist. Ist das wahr? Ich bin ziemlich verwirrt darüber, weil ich immer gelernt habe, dass die Kostenfunktion von ANN nicht konvex ist. Kann jemand...
Ich habe es mit einem Problem zu tun, das mit dem Finden des Gradienten der Kreuzentropieverlustfunktion für den Parameter θθ\theta wobei: CE(θ)=−∑iyi∗log(y^i)CE(θ)=−∑iyi∗log(y^i)CE(\theta) = -\sum\nolimits_{i}{y_i*log({\hat{y}_{i}})} Wobei y i = s o f t m ein x ( θ i ) und θ i ist ein...
Ich möchte ein neuronales Netzwerk verwenden, um finanzielle Zeitreihen vorherzusagen. Ich komme aus einem IT-Umfeld und habe einige Kenntnisse über neuronale Netze. Ich habe darüber gelesen: TDNN RNN Ich habe nach R-Paketen für sie gesucht und nur eines für RNN gefunden, das RSNNS-Paket, das...
Autoencoder- Netzwerke scheinen viel schwieriger zu sein als normale Klassifikator-MLP-Netzwerke. Nach mehreren Versuchen mit Lasagne ist alles, was ich in der rekonstruierten Ausgabe bekomme, etwas, das im besten Fall einer verschwommenen Mittelung aller Bilder der MNIST- Datenbank ähnelt, ohne zu...
Wie wirkt sich die Auswahl von Wortvektoren aus (Eingabewortmatrix) im Vergleich zu Wortvektoren aus W ' (Ausgabewortmatrix) in den CBOW- und Sprunggrammmodellen von word2vec auf die Qualität der resultierenden Wortvektoren aus?W.WWW′W′W' CBOW: Skip-Gramm:
Ich versuche die Architektur von RNNs zu verstehen. Ich habe dieses Tutorial gefunden, das sehr hilfreich war: http://colah.github.io/posts/2015-08-Understanding-LSTMs/ Besonders dieses Bild: Wie passt das in ein Feed-Forward-Netzwerk? Ist dieses Bild nur ein weiterer Knoten in jeder...
Ich lese dieses Papier: Skype-Übersetzer, bei dem CD-DNN-HMMs (kontextabhängige tiefe neuronale Netze mit Hidden-Markov-Modellen) verwendet werden. Ich kann die Idee des Projekts und die Architektur, die sie entworfen haben, verstehen, aber ich verstehe nicht, was die Senone sind . Ich habe nach...
Nach "Efficient Backprop" von LeCun et al. (1998) ist es empfehlenswert, alle Eingaben so zu normalisieren, dass sie um 0 zentriert sind und im Bereich der maximalen zweiten Ableitung liegen. So würden wir zum Beispiel [-0.5,0.5] für die "Tanh" -Funktion verwenden. Dies soll den Fortschritt der...
Das Problem ist: Leiten Sie den Gradienten in Bezug auf die Eingabeschicht für ein einzelnes neuronales Netzwerk mit versteckter Schicht ab, indem Sie Sigmoid für Eingabe -> versteckt, Softmax für versteckt -> Ausgabe mit einem Kreuzentropieverlust verwenden. Ich kann den größten Teil...
Angenommen, ich möchte ein tiefes neuronales Netzwerk trainieren, um eine Klassifizierung oder Regression durchzuführen, aber ich möchte wissen, wie sicher die Vorhersage sein wird. Wie könnte ich das erreichen? Meine Idee ist es, die Kreuzentropie für jedes Trainingsdatum basierend auf seiner...
Ich lerne über Deep Learning (insbesondere CNNs) und wie es normalerweise sehr viele Daten erfordert, um eine Überanpassung zu verhindern. Mir wurde jedoch auch gesagt, dass je höher die Kapazität / mehr Parameter eines Modells sind, desto mehr Daten erforderlich sind, um eine Überanpassung zu...
Bei der Anwendung von Dropout in künstlichen neuronalen Netzen muss die Tatsache kompensiert werden, dass zum Zeitpunkt des Trainings ein Teil der Neuronen deaktiviert wurde. Dazu gibt es zwei gemeinsame Strategien: Skalieren der Aktivierung zur Testzeit Umkehren des Aussetzers während der...