Was ist ein "Residual Mapping"?

7

Ein kürzlich veröffentlichtes Papier von He et al. ( Deep Residual Learning für die Bilderkennung , Microsoft Research, 2015) behauptet, dass sie bis zu 4096 Schichten (keine Neuronen!) Verwenden.

Ich versuche das Papier zu verstehen, aber ich stolpere über das Wort "Rest".

Könnte mir bitte jemand eine Erklärung / Definition geben, was Residuum in diesem Fall bedeutet?

Beispiele

Wir formulieren die Ebenen explizit neu als Lernrestfunktionen in Bezug auf die Ebeneneingaben, anstatt nicht referenzierte Funktionen zu lernen.

[...]

Anstatt zu hoffen, dass alle paar gestapelten Ebenen direkt zu einer gewünschten zugrunde liegenden Zuordnung passen, lassen wir diese Ebenen explizit zu einer Restzuordnung passen. Wenn wir die gewünschte zugrunde liegende Zuordnung als , lassen wir die gestapelten nichtlinearen Ebenen formal zu einer anderen Zuordnung von passen . Die ursprüngliche Zuordnung wird in gefasst . Wir nehmen an, dass es einfacher ist, die Restzuordnung zu optimieren, als die ursprüngliche, nicht referenzierte Zuordnung zu optimierenH(x)F(x):=H(x)−xF(x)+x

machine-learning neural-network Martin Thoma
quelle
Dies könnte ein Sprachproblem sein. Wenn Sie die deutsche Übersetzung von "Residuum" in diesem Zusammenhang kennen, würde ich mich auch darüber freuen.
Martin Thoma

Antworten:

2

Es ist ; die Differenz zwischen der Abbildung und ihrer Eingabe . Es ist ein gebräuchlicher Begriff in der Mathematik ( DE ).F(x)H(x)x

Emre
quelle
3
Das ist nicht richtig. Der Begriff Residual, wie er in der Mathematik zu finden ist, ist nicht derselbe wie das Residual Mapping, über das in der Arbeit gesprochen wird. Aus dem von Ihnen aufgelisteten Link geht hervor, dass für f (x) = b der Rest die Differenz bf (x) ist. Die Restabbildung ist gemäß ihrer Definition die Differenz zwischen dem Eingang x und dem Ausgang der Funktion H (x).
Spurra