Ich lese die Dokumentation von PyTorch durch und habe ein Beispiel gefunden, in dem sie schreiben gradients = torch.FloatTensor([0.1, 1.0, 0.0001]) y.backward(gradients) print(x.grad) Dabei war x eine Anfangsvariable, aus der y konstruiert wurde (ein 3-Vektor). Die Frage ist, was sind die Argumente...
Ich bin kürzlich auf tf.nn.sparse_softmax_cross_entropy_with_logits gestoßen und kann nicht herausfinden, was der Unterschied zu tf.nn.softmax_cross_entropy_with_logits ist . Der einzige Unterschied ist, dass Trainingsvektoren ysein one-hot kodierten bei der Verwendung
Geschlossen. Diese Frage entspricht nicht den Richtlinien für Stapelüberlauf . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so dass es beim Thema für Stack - Überlauf. Geschlossen vor 6 Jahren ....
Ich versuche die Rolle der FlattenFunktion in Keras zu verstehen . Unten ist mein Code, der ein einfaches zweischichtiges Netzwerk ist. Es nimmt zweidimensionale Formdaten (3, 2) auf und gibt eindimensionale Formdaten (1, 4) aus: model = Sequential() model.add(Dense(16, input_shape=(3, 2)))...
Ich versuche LSTMs zu verstehen und wie man sie mit Keras erstellt. Ich fand heraus, dass es hauptsächlich die 4 Modi gibt, um eine RNN auszuführen (die 4 richtigen im Bild). Bildquelle: Andrej Karpathy Jetzt frage ich mich, wie ein minimalistischer Codefragment für jeden von ihnen in Keras...
Ich versuche, ein neuronales Netzwerk von Grund auf neu aufzubauen. In der gesamten KI-Literatur besteht Konsens darüber, dass Gewichte mit Zufallszahlen initialisiert werden sollten, damit das Netzwerk schneller konvergiert. Aber warum werden Anfangsgewichte neuronaler Netze als Zufallszahlen...
Wenn wir 10 Eigenvektoren haben, können wir 10 neuronale Knoten in der Eingabeschicht haben. Wenn wir 5 Ausgabeklassen haben, können wir 5 Knoten in der Ausgabeschicht haben. Aber was sind die Kriterien für die Auswahl der Anzahl der verborgenen Schichten in einem MLP und wie viele neuronale Knoten...
Die Methode zero_grad()muss während des Trainings aufgerufen werden. Die Dokumentation ist jedoch nicht sehr hilfreich | zero_grad(self) | Sets gradients of all model parameters to zero. Warum müssen wir diese Methode aufrufen?
Wie initialisiere ich die Gewichte und Verzerrungen (z. B. mit He- oder Xavier-Initialisierung) in einem Netzwerk in PyTorch?
Ich habe versucht zu replizieren, wie man das Packen für Sequenzeingaben variabler Länge für rnn verwendet, aber ich denke, ich muss zuerst verstehen, warum wir die Sequenz "packen" müssen. Ich verstehe, warum wir sie "auffüllen" müssen, aber warum ist "Packen" (durch pack_padded_sequence)...
Ich trainiere ein neuronales Netzwerk für mein Projekt mit Keras. Keras hat eine Funktion zum frühen Stoppen bereitgestellt. Darf ich wissen, welche Parameter beachtet werden sollten, um eine Überanpassung meines neuronalen Netzwerks durch frühzeitiges Anhalten zu
Ich habe mich gefragt, ob es möglich ist, ein teilweise trainiertes Keras-Modell zu speichern und das Training fortzusetzen, nachdem das Modell erneut geladen wurde. Der Grund dafür ist, dass ich in Zukunft mehr Trainingsdaten haben werde und nicht das gesamte Modell erneut trainieren möchte. Die...
Ich habe in vielen verfügbaren neuronalen Netzwerkcodes, die mit TensorFlow implementiert wurden, festgestellt, dass Regularisierungsterme häufig durch manuelles Hinzufügen eines zusätzlichen Terms zum Verlustwert implementiert werden. Meine Fragen sind: Gibt es eine elegantere oder empfohlene...
Ich habe ein Beispiel für ein neuronales Netzwerk mit zwei Schichten. Die erste Ebene akzeptiert zwei Argumente und hat eine Ausgabe. Das zweite sollte ein Argument als Ergebnis der ersten Schicht und ein zusätzliches Argument annehmen. Es sollte so aussehen: x1 x2 x3 \ / / y1 / \ / y2 Also...
Ich habe dieses Beispiel eines LSTM-Sprachmodells auf Github (Link) durchgearbeitet . Was es im Allgemeinen macht, ist mir ziemlich klar. Aber ich habe immer noch Schwierigkeiten zu verstehen, was das Aufrufen contiguous()bewirkt, was im Code mehrmals vorkommt. Beispielsweise werden in Zeile 74/75...
Ich habe festgestellt, dass ein häufiges Auftreten während des Trainings NANeingeführt wird. Oft scheint es durch Gewichte in inneren Produkt- / vollständig verbundenen oder Faltungsschichten, die explodieren, eingeführt zu werden. Tritt dies auf, weil die Gradientenberechnung explodiert? Oder...
Klassifizierungsprobleme wie die logistische Regression oder die multinomiale logistische Regression optimieren einen entropieübergreifenden Verlust. Normalerweise folgt die Kreuzentropieschicht der Softmax- Schicht, die eine Wahrscheinlichkeitsverteilung erzeugt. Im Tensorflow gibt es...
Derzeit verwende ich den folgenden Code: callbacks = [ EarlyStopping(monitor='val_loss', patience=2, verbose=0), ModelCheckpoint(kfold_weights_path, monitor='val_loss', save_best_only=True, verbose=0), ] model.fit(X_train.astype('float32'), Y_train, batch_size=batch_size, nb_epoch=nb_epoch,...
Ich versuche zu verstehen, was der TimeDistributed-Wrapper in Keras macht. Ich verstehe, dass TimeDistributed "eine Ebene auf jede zeitliche Schicht einer Eingabe anwendet". Aber ich habe einige Experimente durchgeführt und die Ergebnisse erhalten, die ich nicht verstehen kann. Kurz gesagt,...
Ich versuche, einer Tensorflow-Variablen in Python einen neuen Wert zuzuweisen. import tensorflow as tf import numpy as np x = tf.Variable(0) init = tf.initialize_all_variables() sess = tf.InteractiveSession() sess.run(init) print(x.eval()) x.assign(1) print(x.eval()) Aber die Ausgabe, die...