Warum ist es wichtig, einen Bias-Korrektur-Term für den Adam-Optimierer für Deep Learning einzufügen?

Ich habe über den Adam-Optimierer für Deep Learning gelesen und bin in dem neuen Buch Deep Learning von Begnio, Goodfellow und Courtville auf folgenden Satz gestoßen:

Adam schließt Vorspannungskorrekturen an den Schätzungen sowohl der Momente erster Ordnung (dem Impulsausdruck) als auch der (nicht zentrierten) Momente zweiter Ordnung ein, um ihre Initialisierung am Ursprung zu berücksichtigen.

es scheint , dass der Hauptgrund für diese Bias - Korrekturterme enthalten ist , dass es irgendwie um die Vorspannung der Initialisierung entfernt $m_t = 0$ und $v_t = 0$ .

Ich bin nicht zu 100% sicher, was das bedeutet, aber es scheint mir, dass es wahrscheinlich bedeutet, dass der 1. und 2. Moment bei Null beginnen und es irgendwie bei Null beginnt, was die Werte für das Training auf unfaire (oder nützliche) Weise näher an Null bringt ?
Allerdings würde ich gerne wissen, was das genau bedeutet und wie das dem Lernen schadet. Welche Vorteile hat insbesondere die Entlastung des Optimierers in Bezug auf die Optimierung?
Wie hilft dies beim Training von Deep Learning-Modellen?
Was bedeutet es auch, wenn es unvoreingenommen ist? Ich weiß, was unvoreingenommene Standardabweichung bedeutet, aber mir ist nicht klar, was dies in diesem Zusammenhang bedeutet.
Ist die Bias-Korrektur wirklich eine große Sache oder ist das im Adam-Optimierungspapier etwas überzeichnet?

Nur damit die Leute wissen, dass ich mich wirklich sehr bemüht habe, das Originalpapier zu verstehen, aber ich habe sehr wenig davon, das Originalpapier zu lesen und erneut zu lesen. Ich nehme an, einige dieser Fragen könnten dort beantwortet werden, aber ich kann die Antworten nicht analysieren.

machine-learning neural-networks optimization conv-neural-network adam Charlie Parker
quelle

Link: arxiv.org/pdf/1412.6980v8.pdf Die Gradientenschätzungen für den ersten und zweiten Moment werden über den gleitenden Durchschnitt aktualisiert und mit beiden Schätzwerten von Null begonnen. Daher würden diese Anfangswerte, für die der wahre Wert nicht Null ist, die Ergebnisse verzerren , weil die anfänglichen Schätzungen von Null nur allmählich aussterben. Was ich nicht verstehe, ist, warum der Gradient am Anfangspunkt nicht für die Anfangswerte dieser Dinge verwendet wird, und dann die erste Parameteraktualisierung. Dann würde es keine Verunreinigung durch die anfänglichen Nullwerte geben, die rückgängig gemacht werden müsste. Es wäre also keine Korrektur der Vorspannung erforderlich.

Mark L. Stone

Anstatt einen speziellen Code für die anfängliche Iteration zu haben, haben sich die Autoren entschieden, eine mathematisch äquivalente Sache zu tun, indem sie eine Verzerrung einführten und diese dann rückgängig machten. Dies fügt unnötige, wenn auch schnelle Berechnungen für alle Iterationen hinzu. Dabei haben sie eine Code-Reinheit beibehalten, die bei allen Iterationen gleich aussieht. Ich hätte stattdessen nur mit der ersten Gradientenauswertung begonnen und die Formel zur Aktualisierung des Gradientenmoments erst mit der zweiten Iteration gestartet.

Mark L. Stone

@ MarkL.Stone Die Autoren betonen die Bias-Korrektur so sehr, dass es mir so vorkam, als ob dies in ihrer Arbeit neu oder wichtig wäre. Sie hätten also einfach nicht "die Verzerrung korrigieren" und den gleichen Algorithmus haben können? Wenn das stimmt, verstehe ich nicht, warum Adam ein so wichtiger Optimierer ist oder was die große Sache ist. Ich dachte immer, es sei die Bias-Korrektur.

Charlie Parker

Sie führen eine Verzerrung ein und korrigieren sie dann, ohne dass mir ein wichtiger Grund ersichtlich ist. Es ist so, als würde man mit 2 multiplizieren (oh mein Gott, das Ergebnis ist verzerrt) und dann durch 2 teilen, um es zu "korrigieren". Das Ganze mit dem Einbringen und Entfernen der Verzerrung scheint eine unnötige Nebenwirkung zu sein. Vielleicht war die Zeitschrift nicht lang genug, ohne es zu tun, also haben sie dieses Spiel hinzugefügt, um es länger zu machen :) Adam mag seine Vorzüge haben, aber sie hätten es genauso gemacht, wie ich es vorgeschlagen hatte. Ich würde es lieben, wenn die Autoren hierher kommen und es erklären. Vielleicht fehlt mir ein subtiler Punkt oder ich verstehe etwas falsch.

Mark L. Stone

Antworten:

Das Problem der nicht die Bias Korrektur
Gemäß dem Papier

Bei spärlichen Verläufen muss für eine zuverlässige Schätzung des zweiten Moments über viele Verläufe gemittelt werden, indem ein kleiner Wert von β2 gewählt wird. es ist jedoch genau dieser Fall von kleinem & bgr; 2, wo ein Mangel an Initialisierungsvorspannungskorrektur zu Anfangsschritten führen würde, die viel größer sind.

$\beta_2$ $\beta_1$ $\beta_2=0.999$ $\beta_1=0.9$ $1-\beta_2=0.001$ $1-\beta_1=0.1$

$m_1=0.1g_t$ $v_1=0.001g_t^2$ $m_1/(\sqrt{v_1}+\epsilon)$

$\hat{m_1}=g_1$ $\hat{v_1}=g_1^2$ $\hat{m_t}/(\sqrt{\hat{v_t}}+\epsilon)$ $\beta_1$ $\beta_2$

$m_0$ $m_t=\beta m_{t-1}+(1-\beta)g_t$ $m_0$

$m_1=\beta m_0+(1-\beta)g_t$ $\beta m_0$ $m_1$ $(1-\beta)$ $\hat{m_1}=(m_1- \beta m_0)/(1-\beta)$ $m_0=0$ $\hat{m_t}=m_t/(1-\beta^t)$

Wie Mark L. Stone gut kommentiert hat

Es ist so, als würde man mit 2 multiplizieren (oh mein Gott, das Ergebnis ist verzerrt) und dann durch 2 teilen, um es zu "korrigieren".

Irgendwie ist das nicht genau gleichbedeutend mit

Der Gradient am Anfangspunkt wird für die Anfangswerte dieser Dinge und dann für die erste Parameteraktualisierung verwendet

(Natürlich kann es durch Ändern der Aktualisierungsregel in die gleiche Form gebracht werden (siehe Aktualisierung der Antwort), und ich glaube, diese Zeile zielt hauptsächlich darauf ab, die Unnötigkeit der Einführung der Verzerrung aufzuzeigen, aber vielleicht lohnt es sich, den Unterschied zu bemerken.)

Zum Beispiel der korrigierte erste Moment zum Zeitpunkt 2

\hat{m_{2}} = \frac{β (1 - β) g_{1} + (1 - β) g_{2}}{1 - β^{2}} = \frac{β g_{1} + g_{2}}{β + 1}

$\hat{m_2}=\frac{\beta(1-\beta)g_1+(1-\beta)g_2}{1-\beta^2}=\frac{\beta g_1+g_2}{\beta+1}$

$g_1$

m_{2} = β g_{1} + (1 - β) g_{2}

$m_2=\beta g_1+(1-\beta)g_2$

g_{1}

$g_1$

Ist die Bias-Korrektur wirklich eine große Sache?
Da sie nur die ersten paar Schritte des Trainings betrifft, scheint sie kein sehr großes Problem zu sein. In vielen gängigen Frameworks (z. B. Keras , Caffe ) wird nur die Bias-Schätzung implementiert.

$\epsilon$

$\hat{m}_t$

{\hat{m}}_{t} = \frac{β^{t - 1} g_{1} + β^{t - 2} g_{2} + . . . + G_{t}}{β^{t - 1} + β^{t - 2} + . . . + 1}

$\hat{m}_t=\frac{\beta^{t-1}g_1+\beta^{t-2}g_2+...+g_t}{\beta^{t-1}+\beta^{t-2}+...+1}$ The denominator can be computed by the geometric sum formula, so it's equivalent to following update rule (which doesn't involve a bias term)

$m_1\leftarrow g_1$
while not converge do
$\qquad m_t\leftarrow \beta m_t + g_t$ (weighted sum)
$\qquad \hat{m}_t\leftarrow \dfrac{(1-\beta)m_t}{1-\beta^t}$ (weighted average)

Therefore it can be possibly done without introducing a bias term and correcting it. I think the paper put it in the bias-correction form for the convenience of comparing with other algorithms (e.g. RmsProp).

dontloo
quelle

Do you agree with my 2nd comment on the question? To me, that's the bottom line. The thing about the multiplying and dividing by 2 was just supposed to be an "easier to understand" analogy, not the math used in the matter at hand. if there were other papers, which i haven't looked at, which introduced a bias by the same mechanism, which in the case of ADAM seems entirely avoidable, but didn't correct it, then that's just totally STUPID (unless somehow the bias helped the performance of the algorithm).

Mark L. Stone

@MarkL.Stone yes! actually i upvoted it, sorry about my English. and i think the algorithm that didn't correct the bias is the rmsprop, but unlike adam rmsprop works fine with the bias.

dontloo

@dontloo does your answer address Mark L. Stone's comment on why the bias correction seems superfluous? (That I think is quite important, maybe even more than paraphrasing what the original paper says).

Charlie Parker

@CharlieParker you mean why the bias correction is superfluous or why the author makes it look superfluous?

dontloo

@dontloo I don't think the authors make it superfluous. I thought they did indeed need it (given their specific conditions). However, I thought that it wasn't necessary given Mark's suggestion. I guess my question in the comments section right now is if they really needed the correction term.

Charlie Parker