Was ist der Unterschied zwischen 'Transfer Learning' und 'Domain Adaptation'?

18

Gibt es einen Unterschied zwischen 'Transfer Learning' und 'Domain Adaptation'?

Ich weiß nichts über den Kontext, aber ich verstehe, dass wir einen Datensatz 1 haben und darauf trainieren, woraufhin wir einen weiteren Datensatz 2 haben, für den wir unser Modell anpassen möchten, ohne von Grund auf neu zu trainieren, für den 'Lernen übertragen' und "Domain-Anpassung" helfen, dieses Problem zu lösen.

Nach dem Gebiet der Faltungsneuralen Netze:

  • Mit "Transferlernen" meine ich "Feinabstimmung" [1]

  • In diesem Fall [2] ist es unbeaufsichtigt, aber sollte die Domänenanpassung immer unbeaufsichtigt sein?

mrgloom
quelle
3
Eine Umfrage zum Transferlernen von Pan et. 2009 bietet einige Einblicke. Sie kategorisieren die Domänenanpassung als eine Art von Transferlernen.
Kedarps

Antworten:

12

Es scheint, dass zwischen den Forschern einige Meinungsverschiedenheiten bestehen, was den Unterschied zwischen "Transferlernen" und "Domänenanpassung" ausmacht.

Von {0}:

Der Begriff der Domänenanpassung ist eng mit dem Transferlernen verbunden. Transferlernen ist ein allgemeiner Begriff, der sich auf eine Klasse von Problemen des maschinellen Lernens bezieht, die unterschiedliche Aufgaben oder Bereiche betreffen. In der Literatur gibt es noch keine Standarddefinition für Transferlernen. In einigen Veröffentlichungen ist es austauschbar mit der Domänenanpassung.

Von {1}:

Bildbeschreibung hier eingeben


Verweise:

Franck Dernoncourt
quelle
10

Aus Hal Daumes Artikel [1]:

Die Standardklassifizierungseinstellung ist eine Eingabeverteilung p (X) und eine Beschriftungsverteilung p (Y | X). Domänenanpassung: wenn sich p (X) zwischen Training und Test ändert. Transferlernen: wenn p (Y | X) zwischen Training und Test wechselt.

Mit anderen Worten, in DA ändert sich die Eingabeverteilung, aber die Bezeichnungen bleiben gleich. In TL bleiben die Eingabeverteilungen gleich, aber die Beschriftungen ändern sich.

  1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html ( Spiegel )
Rahul Jha
quelle
Willkommen bei Cross Validated ! Bitte nehmen Sie sich einen Moment Zeit, um unsere Tour anzusehen . Es wird bevorzugt, dass Antworten mit richtigen Zitaten in sich geschlossen sind. Wenn Sie die Informationen aus Ihrem Link verwenden würden, um eine vernünftige Antwort auf die Frage mit dem Link zur weiteren Lektüre bereitzustellen, wäre dies eine deutlich verbesserte Antwort.
Tavrock
1
p(Y.|X)p(X)
Ich stimme @caveman zu. Für viele Transfer-Lernszenarien ist dies der Fall.
Pir
2

In der gesamten Literatur zum Transferlernen gibt es eine Reihe von terminologischen Inkonsistenzen. Sätze wie Transferlernen und Domänenanpassung werden verwendet, um auf ähnliche Prozesse zu verweisen. Bei der Domänenanpassung werden eine oder mehrere Quelldomänen für die Übertragung von Informationen angepasst, um die Leistung eines Zielschülers zu verbessern. Der Domänenanpassungsprozess versucht, eine Quelldomäne zu ändern, um die Verteilung der Quelle näher an die des Ziels heranzuführen. In der Domänenanpassung haben die Quell- und die Zieldomäne unterschiedliche Randverteilungen p (X). Laut Pans Umfrage ist Transfer Learning ein weiter gefasster Begriff, der auch den Fall einschließen kann, dass es einen Unterschied in den bedingten Verteilungen p (Y | X) der Quell- und Zieldomänen gibt. Im Gegensatz,

  1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html
Christos Karatsalos
quelle
Wäre es möglich, ein Zitat für "Pans Umfrage" hinzuzufügen? Ich denke, dies würde diese Antwort für zukünftige Leser nützlicher machen.
Silverfish
Pan, Sinno Jialin und Qiang Yang. "Eine Umfrage zum Transferlernen." IEEE Transactions on Knowledge und Data Engineering 22, nr. 10 (2010): 1345 & ndash; 1359. scholar.google.com/… ; citeseerx.ist.psu.edu/viewdoc/…
Christos Karatsalos