Kürzlich haben wir die Entstehung des verbleibenden neuronalen Netzes gesehen, bei dem jede Schicht aus einem Rechenmodul cicic_i und einer Verknüpfungsverbindung besteht, die die Eingabe in die Schicht beibehält, wie die Ausgabe der i-ten Schicht zeigt: yi+1=ci+yiyi+1=ci+yi y_{i+1} = c_i + y_i Das...
Ich habe das Batch-Normalisierungspapier [1] gelesen und es hatte einen Abschnitt, in dem ein Beispiel behandelt wird, um zu zeigen, warum die Normalisierung sorgfältig durchgeführt werden muss. Ich kann ehrlich gesagt nicht verstehen, wie das Beispiel funktioniert, und ich bin wirklich sehr...
Basierend auf dem, was ich gelernt habe, verwenden wir mehrere Filter in einer Conv-Schicht eines CNN, um verschiedene Feature-Detektoren zu lernen. Aber da diese Filter ähnlich angewendet werden (dh verschoben und mit Regionen der Eingabe multipliziert werden), würden sie dann nicht einfach...
Ich habe ein ziemlich populäres Papier " ERKLÄREN UND HARNESSEN VON ADVERSARIALEN BEISPIELEN " implementiert und in dem Papier eine kontroverse Zielfunktion trainiert J '' (θ) = αJ (θ) + (1 - α) J '(θ). Es behandelt α als Hyperparameter. α kann 0,1, 0,2, 0,3 usw. sein. Unabhängig von diesem...
Ich habe mir die CS231N-Vorlesungen von Stanford angesehen und versuche, mich mit einigen Problemen in CNN-Architekturen zu befassen. Ich versuche zu verstehen, ob es einige allgemeine Richtlinien für die Auswahl der Faltungsfiltergröße und Dinge wie Schritte gibt oder ob dies eher eine Kunst als...
In Goodfellow's (2016) Buch über tiefes Lernen sprach er über die Gleichwertigkeit eines frühen Stopps der L2-Regularisierung ( https://www.deeplearningbook.org/contents/regularization.html Seite 247). Die quadratische Approximation der Kostenfunktion jjj ist gegeben durch:
Ich beginne mit tiefem Lernen und habe eine Frage, deren Antwort ich nicht finden konnte, vielleicht habe ich nicht richtig gesucht. Ich habe diese Antwort gesehen , aber es ist immer noch nicht klar, was der Gewichtsverlust ist und wie er mit der Verlustfunktion
Sowohl die logistische Funktion als auch die Standardabweichung werden normalerweise als . Ich werde und s für die Standardabweichung verwenden.σσ\sigmaσ(x)=1/(1+exp(−x))σ(x)=1/(1+exp(−x))\sigma(x) = 1/(1+\exp(-x))sss Ich habe eine logistische Neuron mit einem zufälligen Eingang , dessen...
Ich habe ein bisschen über die Verwendung neuronaler Netze zur Vorhersage von Zeitreihen gehört. Wie kann ich vergleichen, welche Methode zur Vorhersage meiner Zeitreihen (tägliche Einzelhandelsdaten) besser ist: auto.arima (x), ets (x) oder nnetar (x). Ich kann auto.arima mit ets von AIC oder...
Bei Computer-Vision-Aufgaben wie der Objektklassifizierung mit Convolutional Neural Networks (CNN) bietet das Netzwerk eine ansprechende Leistung. Ich bin mir jedoch nicht sicher, wie ich die Parameter in Faltungsschichten einrichten soll. Beispielsweise kann bei einem Graustufenbild ( 480x480) die...
Ich habe einen unausgeglichenen Datensatz in einer binären Klassifizierungsaufgabe, bei der die positive Menge gegenüber der negativen Menge 0,3% gegenüber 99,7% beträgt. Die Kluft zwischen Positiven und Negativen ist groß. Wenn ich ein CNN mit der im MNIST-Problem verwendeten Struktur trainiere,...
Ich verstehe, dass neuronale Netze (NNs) unter bestimmten Voraussetzungen (sowohl für das Netz als auch für die zu approximierende Funktion) als universelle Approximatoren für beide Funktionen und ihre Ableitungen angesehen werden können. Tatsächlich habe ich eine Reihe von Tests mit einfachen,...
Ich habe mich gefragt, ob es möglich ist, eine SVM (sagen wir eine lineare, um die Sache zu vereinfachen) mit Backpropagation zu trainieren. Derzeit bin ich an einer Straßensperre, weil ich nur daran denken kann, die Ausgabe des Klassifikators als zu schreiben f( x ; θ , b ) = sgn ( θ ⋅ x - ( b + 1...
Ich betrachte die entropieübergreifende Kostenfunktion in diesem Tutorial : C=−1n∑x[ylna+(1−y)ln(1−a)]C=−1n∑x[ylna+(1−y)ln(1−a)]C = -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)] Worüber summieren wir genau? Es ist natürlich über , aber und ändern sich nicht mit . Alle sind Eingaben in die . wird...
Ein Small-World-Netzwerk ist eine Art mathematischer Graph, bei dem die meisten Knoten keine Nachbarn sind, die meisten Knoten jedoch durch eine kleine Anzahl von Sprüngen oder Schritten voneinander erreicht werden können. Insbesondere wird ein Small-World-Netzwerk als ein Netzwerk definiert, bei...
Klassifizierungsprobleme mit nichtlinearen Grenzen können nicht mit einem einfachen Perzeptron gelöst werden . Der folgende R-Code dient nur zur Veranschaulichung und basiert auf diesem Beispiel in Python. nonlin <- function(x, deriv = F) { if (deriv) x*(1-x) else 1/(1+exp(-x)) } X <-...
In den Artikeln AlphaGo Zero und AlphaZero von DeepMind beschreiben sie das Hinzufügen von Dirichlet- Rauschen zu den vorherigen Wahrscheinlichkeiten von Aktionen vom Wurzelknoten (Board-Status) in der Monte-Carlo-Baumsuche: Weitere Explorations wird erreicht durch Zugabe von Dirichlet Rauschen zu...
Ich frage mich, welche nützlichen Techniken es gibt, um zu überprüfen, ob eine Implementierung eines neuronalen Netzwerks korrekt funktioniert. Im Folgenden sind einige mir bekannte Schecks aufgeführt. Es würde mich interessieren, mehr davon zu erfahren: Zeichnen einiger Metriken (F1-Punktzahl,...
Angenommen, ich habe ein einfaches einschichtiges neuronales Netzwerk mit n Eingängen und einem einzelnen Ausgang (binäre Klassifizierungsaufgabe). Wenn ich die Aktivierungsfunktion im Ausgabeknoten als Sigmoidfunktion einstelle, ist das Ergebnis ein Klassifikator für die logistische...
Ich versuche, ein tiefes neuronales Netzwerk für die Klassifizierung mithilfe der Rückausbreitung zu trainieren. Insbesondere verwende ich ein Faltungs-Neuronales Netzwerk zur Bildklassifizierung unter Verwendung der Tensor Flow-Bibliothek. Während des Trainings habe ich ein seltsames Verhalten und...