Was ist der Unterschied zwischen 'Transfer Learning' und 'Domain Adaptation'?

Gibt es einen Unterschied zwischen 'Transfer Learning' und 'Domain Adaptation'?

Ich weiß nichts über den Kontext, aber ich verstehe, dass wir einen Datensatz 1 haben und darauf trainieren, woraufhin wir einen weiteren Datensatz 2 haben, für den wir unser Modell anpassen möchten, ohne von Grund auf neu zu trainieren, für den 'Lernen übertragen' und "Domain-Anpassung" helfen, dieses Problem zu lösen.

Nach dem Gebiet der Faltungsneuralen Netze:

• Mit "Transferlernen" meine ich "Feinabstimmung" [1]

• In diesem Fall [2] ist es unbeaufsichtigt, aber sollte die Domänenanpassung immer unbeaufsichtigt sein?

Es scheint, dass zwischen den Forschern einige Meinungsverschiedenheiten bestehen, was den Unterschied zwischen "Transferlernen" und "Domänenanpassung" ausmacht.

Von {0}:

Der Begriff der Domänenanpassung ist eng mit dem Transferlernen verbunden. Transferlernen ist ein allgemeiner Begriff, der sich auf eine Klasse von Problemen des maschinellen Lernens bezieht, die unterschiedliche Aufgaben oder Bereiche betreffen. In der Literatur gibt es noch keine Standarddefinition für Transferlernen. In einigen Veröffentlichungen ist es austauschbar mit der Domänenanpassung.

Von {1}:

Verweise:

• {0} Li, Qi. "Literaturübersicht: Domain-Anpassungsalgorithmen für die Verarbeitung natürlicher Sprache." Institut für Informatik The Graduate Center, Universität New York (2012): 8-10. https://scholar.google.com/scholar?cluster=2828982016930721315&hl=de&as_sdt=0,22 ; https://pdfs.semanticscholar.org/532e/3d5b1b5807771b77cac60fe8594b506fcff9.pdf ; http://nlp.cs.rpi.edu/paper/qisurvey.pdf ( Spiegel )

• {1} Pan, Sinno Jialin und Qiang Yang. "Eine Umfrage zum Transferlernen." IEEE Transactions on Knowledge und Data Engineering 22, nr. 10 (2010): 1345 & ndash; 1359. https://scholar.google.com/scholar?cluster=17771403852323259019&hl=de&as_sdt=0,22 ; http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.158.4126&rep=rep1&type=pdf ( Spiegel ) (2.6k Zitate)

Aus Hal Daumes Artikel [1]:

Die Standardklassifizierungseinstellung ist eine Eingabeverteilung p (X) und eine Beschriftungsverteilung p (Y | X). Domänenanpassung: wenn sich p (X) zwischen Training und Test ändert. Transferlernen: wenn p (Y | X) zwischen Training und Test wechselt.

Mit anderen Worten, in DA ändert sich die Eingabeverteilung, aber die Bezeichnungen bleiben gleich. In TL bleiben die Eingabeverteilungen gleich, aber die Beschriftungen ändern sich.

1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html ( Spiegel )

In der gesamten Literatur zum Transferlernen gibt es eine Reihe von terminologischen Inkonsistenzen. Sätze wie Transferlernen und Domänenanpassung werden verwendet, um auf ähnliche Prozesse zu verweisen. Bei der Domänenanpassung werden eine oder mehrere Quelldomänen für die Übertragung von Informationen angepasst, um die Leistung eines Zielschülers zu verbessern. Der Domänenanpassungsprozess versucht, eine Quelldomäne zu ändern, um die Verteilung der Quelle näher an die des Ziels heranzuführen. In der Domänenanpassung haben die Quell- und die Zieldomäne unterschiedliche Randverteilungen p (X). Laut Pans Umfrage ist Transfer Learning ein weiter gefasster Begriff, der auch den Fall einschließen kann, dass es einen Unterschied in den bedingten Verteilungen p (Y | X) der Quell- und Zieldomänen gibt. Im Gegensatz,

1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html

Ich denke, dass "Transfer Learning" ein allgemeinerer Begriff ist und "Domain Adaptation" ein Szenario für "Transfer Learning".

[1] Übertragbare Aufmerksamkeit für die Domänenanpassung. http://ise.thss.tsinghua.edu.cn/~mlong/doc/transferable-attention-aaai19.pdf

Gemäß [1] ist die Domänenanpassung das Transferlernen in NLP: "Transferlernen in der NLP-Domäne wird manchmal als Domänenanpassung bezeichnet."

[1] Pan, SJ und Q. Yang. „Eine Umfrage zum Transferlernen.“ IEEE-Transaktionen zu Wissens- und Datentechnik 22, Nr. 10 (Oktober 2010): 1345–59. https://doi.org/10.1109/TKDE.2009.191 oder https://www.cse.ust.hk/~qyang/Docs/2009/tkde_transfer_learning.pdf