Ich lese die Dokumentation von PyTorch durch und habe ein Beispiel gefunden, in dem sie schreiben gradients = torch.FloatTensor([0.1, 1.0, 0.0001]) y.backward(gradients) print(x.grad) Dabei war x eine Anfangsvariable, aus der y konstruiert wurde (ein 3-Vektor). Die Frage ist, was sind die Argumente...
Ich versuche, ein neuronales Netzwerk von Grund auf neu aufzubauen. In der gesamten KI-Literatur besteht Konsens darüber, dass Gewichte mit Zufallszahlen initialisiert werden sollten, damit das Netzwerk schneller konvergiert. Aber warum werden Anfangsgewichte neuronaler Netze als Zufallszahlen...
Die Methode zero_grad()muss während des Trainings aufgerufen werden. Die Dokumentation ist jedoch nicht sehr hilfreich | zero_grad(self) | Sets gradients of all model parameters to zero. Warum müssen wir diese Methode aufrufen?
Ich habe festgestellt, dass ein häufiges Auftreten während des Trainings NANeingeführt wird. Oft scheint es durch Gewichte in inneren Produkt- / vollständig verbundenen oder Faltungsschichten, die explodieren, eingeführt zu werden. Tritt dies auf, weil die Gradientenberechnung explodiert? Oder...
Ich versuche, meinen eigenen Algorithmus zur Erhöhung des Gradienten zu schreiben. Ich verstehe , gibt es bestehende Pakete wie gbmund xgboost,aber ich wollte verstehen , wie der Algorithmus funktioniert durch meine eigenen zu schreiben. Ich verwende den irisDatensatz und mein Ergebnis ist...