Bei all den Mediengesprächen und dem Hype um Deep Learning in diesen Tagen habe ich ein paar grundlegende Informationen darüber gelesen. Ich habe gerade festgestellt, dass es nur eine andere Methode des maschinellen Lernens ist, Muster aus Daten zu lernen. Aber meine Frage ist: Woher kommt und...
In Tensorflows Implementierung von ResNet wird der Varianzskalierungsinitialisierer verwendet . Ich finde auch, dass der Xavier-Initialisierer beliebt ist. Ich habe nicht zu viel Erfahrung damit, was ist in der Praxis
Ich habe das Batch-Normalisierungspapier ( 1) gelesen und nicht verstanden, dass es notwendig ist, gleitende Durchschnitte zu verwenden, um die Genauigkeit des Modells zu verfolgen, und selbst wenn ich akzeptiere, dass dies das Richtige ist, verstehe ich es nicht was sie genau tun. Nach meinem...
Warum werden beim Training tiefer und flacher neuronaler Netze im Gegensatz zu anderen Metaheuristiken häufig Gradientenmethoden (z. B. Gradientenabstieg, Nesterov, Newton-Raphson) verwendet? Mit Metaheuristik meine ich Methoden wie simuliertes Tempern, Optimierung von Ameisenkolonien usw., die...
Ich verstehe die Faltungs- und Bündelungsschichten, kann aber den Grund für eine vollständig verbundene Schicht in CNNs nicht sehen. Warum ist die vorherige Ebene nicht direkt mit der Ausgabeebene
Ich bin gespannt, wie wichtig der Bias-Knoten für die Wirksamkeit moderner neuronaler Netze ist. Ich kann leicht verstehen, dass es in einem flachen Netzwerk mit nur wenigen Eingabevariablen wichtig sein kann. Moderne neuronale Netze wie das Deep Learning verfügen jedoch häufig über eine große...
Ich verstehe die Grundstruktur von variierendem Autoencoder und normalem (deterministischem) Autoencoder und die Mathematik dahinter, aber wann und warum würde ich eine Art von Autoencoder der anderen vorziehen? Alles, woran ich denken kann, ist die vorherige Verteilung latenter Variablen von...
Ich habe ein tiefes neuronales Netzwerkmodell und muss es auf meinem Datensatz trainieren, der aus ungefähr 100.000 Beispielen besteht. Meine Validierungsdaten enthalten ungefähr 1000 Beispiele. Da es einige Zeit dauert, um jedes Beispiel zu trainieren (ungefähr 0,5 Sekunden für jedes Beispiel) und...
Ich suche nach Artikeln oder Texten, die vergleichen und diskutieren (entweder empirisch oder theoretisch): Boosting- und Entscheidungsbaum- Algorithmen wie Random Forests oder AdaBoost und GentleBoost werden auf Entscheidungsbäume angewendet. mit Deep Learning Methoden wie Restricted Boltzmann...
Gibt es einen Unterschied zwischen 'Transfer Learning' und 'Domain Adaptation'? Ich weiß nichts über den Kontext, aber ich verstehe, dass wir einen Datensatz 1 haben und darauf trainieren, woraufhin wir einen weiteren Datensatz 2 haben, für den wir unser Modell anpassen möchten, ohne von Grund auf...
Viele Online-Tutorials befassen sich mit dem Gradientenabstieg und fast alle verwenden eine feste Schrittgröße (Lernrate ). Warum wird die Zeilensuche nicht verwendet (z. B. Backtracking-Zeilensuche oder exakte
Die meisten gängigen neuronalen Faltungsnetze enthalten Pooling-Schichten, um die Dimensionen der Ausgabe-Features zu reduzieren. Warum konnte ich nicht dasselbe erreichen, indem ich einfach den Schritt der Faltungsschicht beschleunigte? Was macht die Pooling-Schicht
Wir definieren eine Epoche, in der alle verfügbaren Trainingsmuster durchlaufen wurden, und die Mini-Batch-Größe als die Anzahl der Muster, über die wir den Durchschnitt bilden, um die Aktualisierungen der Gewichte / Vorspannungen zu finden, die zum Abstieg des Gradienten erforderlich sind. Meine...
Meine Physikprofessoren an der Graduiertenschule sowie der Nobelpreisträger Feynman präsentierten immer das, was sie Spielzeugmodelle nannten, um grundlegende Konzepte und Methoden der Physik wie den harmonischen Oszillator, das Pendel, den Kreisel und die Black Box zu veranschaulichen. Welche...
Ich habe ein paar Fragen, die mich bezüglich des CNN verwirren. 1) Die mit CNN extrahierten Merkmale sind skalierungs- und drehungsinvariant. 2) Die Kerne, die wir zur Faltung mit unseren Daten verwenden, sind bereits in der Literatur definiert? Was für ein Kernel sind das? ist es für jede...
Wie würden Sie vorgehen, wenn Sie eine halbe Seite haben, um den Ausfall zu erklären ? Welches sind die Gründe für diese
Können wir Bilder mit variabler Größe als Eingabe für die Objekterkennung in ein Faltungsnetzwerk geben? Wenn möglich, wie können wir das tun? Wenn wir jedoch versuchen, das Bild zuzuschneiden, verlieren wir einen Teil des Bildes, und wenn wir versuchen, die Größe zu ändern, geht die Klarheit...
Beim Erlernen des neuronalen Faltungsnetzwerks habe ich Fragen zu der folgenden Abbildung. 1) C1 in Layer 1 hat 6 Feature-Maps. Bedeutet das, dass es sechs Faltungskerne gibt? Jeder Faltungskernel wird verwendet, um eine Feature-Map auf der Grundlage von Eingaben zu generieren. 2) S1 in Schicht 2...
Was bedeutet die Anzahl der Filter in einer Faltungsschicht? Wie wirkt sich diese Zahl auf die Leistung oder Qualität der Architektur aus? Ich meine, sollten wir uns immer für eine höhere Anzahl von Filtern entscheiden? was ist gut von ihnen? und Wie ordnet man unterschiedliche Anzahl von Filtern...
Hintergrund: Ein Großteil der modernen Forschung in den letzten ~ 4 Jahren (nach Alexander Net ) scheint von der Verwendung von generativem Pretraining für neuronale Netze abgewichen zu sein, um Klassifizierungsergebnisse auf dem neuesten Stand der Technik zu erzielen. Zum Beispiel beinhalten die...