Was bedeutet "Vanille"?

12

In maschinellen Lernblogs begegne ich häufig dem Wort "Vanille". Zum Beispiel "Vanilla Gradient Descent" oder "Vanilla Method". Dieser Begriff wird in Optimierungslehrbüchern buchstäblich nie verwendet.

In diesem Beitrag heißt es beispielsweise:

Dies ist die einfachste Form der Gradientenabstiegstechnik. Vanille bedeutet hier rein / ohne Verfälschung. Sein Hauptmerkmal ist, dass wir kleine Schritte in Richtung der Minima machen, indem wir den Gradienten der Kostenfunktion nehmen.

Sagen Sie bitte, was bedeutet "Verfälschung" in diesem Zusammenhang? Der Autor geht noch weiter, indem er den Vanille-Gradientenabstieg dem Gradientenabstieg mit dem Impuls gegenüberstellt. In diesem Fall ist Vanille-Gradientenabstieg ein anderes Wort für Gradientenabstieg.

In einem anderen Beitrag heißt es:

Vanille-Gradientenabstieg, auch bekannt als Batch-Gradientenabstieg, ...

Leider habe ich auch noch nie von einem Batch-Gradienten-Abstieg gehört. Oh Junge.

Kann jemand klarstellen, was "Vanille" bedeutet und ob es eine festere mathematische Definition gibt?

Carlos - der Mungo - Gefahr
quelle
5
Dies ist keine Fachsprache - der Begriff wird in einem gewöhnlichen idiomatisch-englischen Sinne verwendet (siehe Def 2 hier oder hier oder hier ). Während die Frage hier im Lebenslauf zum Thema gehört, ist sie möglicherweise besser für English.SE oder ELL.SE (Englischlerner, wenn Englisch nicht Ihre Muttersprache ist).
Glen_b -Reinstate Monica
1
Ohne Schmuck. Wie bei Vanilleeis.
Matthew Drury
1
@Glen_b Aus der Sicht eines Außenstehenden können viele Dinge wie Fachjargon aussehen;)
Carlos - der Mungo - Gefahr
Kein Zweifel - deshalb habe ich es erklärt.
Glen_b -Reinstate Monica

Antworten:

17

Vanille bedeutet Standard-, übliche oder unveränderte Version von etwas. Vanille-Gradientenabstieg bedeutet den grundlegenden Gradientenabstiegsalgorithmus ohne Schnickschnack.

Es gibt viele Varianten des Gefälles. Beim üblichen Gradientenabstieg (auch als Batch-Gradientenabstieg oder Vanille-Gradientenabstieg bekannt) wird der Gradient als Durchschnitt des Gradienten jedes Datenpunkts berechnet.

f=1niloss(xi)

Bei stochastischem Gradientenabstieg mit einer Chargengröße von eins können wir den Gradienten als schätzen

floss(x)
, wobei zufällig aus unserem gesamten Datensatz ausgewählt wird. Es ist eine Variante des normalen Gefälles, also kein Vanille-Gefälle. Da jedoch selbst der stochastische Gradientenabstieg viele Varianten aufweist, können Sie diesen "stochastischen Vanille-Gradientenabstieg" nennen, wenn Sie ihn mit anderen schickeren SGD-Alternativen vergleichen, z. B. SGD mit Impuls.x
Shimao
quelle
Danke, ich suchte nach einem Wort, um "Standard-Gefälle-Abstieg" zu beschreiben, und wollte Vanille
Carlos - der Mungo - Gefahr
4
Vielen Dank für die Klarstellung, dass ich mit all den zufälligen Erscheinungen des Wortes neben Fachbegriffen verrückt werden wollte.
Hallo, danke für die Antwort, weiß jemand, warum "Vanille" heißt?
Desmond13
sowie für die Etymologie fand ich diese ausgezeichnete Antwort - english.stackexchange.com/a/451866
shimao