В чем разница между «трансферным обучением» и «адаптацией предметной области»?

Есть ли разница между «трансферным обучением» и «адаптацией предметной области»?

Я не знаю насчет контекста, но, насколько я понимаю, у нас есть некоторый набор данных 1, и мы обучаем его, после чего у нас есть еще один набор данных 2, для которого мы хотим адаптировать нашу модель без переобучения с нуля, для которого «трансферное обучение» и «адаптация домена» поможет решить эту проблему.

Согласно области сверточных нейронных сетей:

• Под «трансферным обучением» я подразумеваю «тонкую настройку» [1]

• В этом случае [2] он не контролируется, но должна ли «доменная адаптация» быть всегда без присмотра?

Кажется, что между исследователями существуют некоторые разногласия по поводу того, в чем разница между «трансферным обучением» и «адаптацией предметной области».

От {0}:

Понятие доменной адаптации тесно связано с трансферным обучением. Трансферное обучение - это общий термин, который относится к классу проблем машинного обучения, которые включают в себя различные задачи или области. В литературе пока нет стандартного определения трансферного обучения. В некоторых статьях он взаимозаменяем с адаптацией домена.

С 1}:

Ссылки:

• {0} Ли, Ци. «Обзор литературы: алгоритмы адаптации предметной области для обработки естественного языка». Факультет компьютерных наук Центр выпускников, Городской университет Нью-Йорка (2012): 8-10. https://scholar.google.com/scholar?cluster=2828982016930721315&hl=ru&as_sdt=0,22 ; https://pdfs.semanticscholar.org/532e/3d5b1b5807771b77cac60fe8594b506fcff9.pdf ; http://nlp.cs.rpi.edu/paper/qisurvey.pdf ( зеркало )

• {1} Пан, Синно Цзялин и Цян Ян. «Опрос по трансферному обучению». IEEE Сделки по знаниям и проектированию данных 22, нет. 10 (2010): 1345-1359. https://scholar.google.com/scholar?cluster=17771403852323259019&hl=en&as_sdt=0,22 ; http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.158.4126&rep=rep1&type=pdf ( зеркало ) (2,6 тыс. ссылок)

Из статьи Хала Даума [1]:

Стандартной настройкой классификации является распределение входных данных p (X) и распределение меток p (Y | X). Адаптация домена: когда p (X) изменяется между тренировкой и тестом. Передача обучения: когда p (Y | X) изменяется между тренировкой и тестом.

Другими словами, в DA распределение входов изменяется, но метки остаются прежними; в TL входные распределения остаются прежними, но метки меняются.

1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html ( зеркало )

В литературе по трансферному обучению существует ряд несоответствий терминологии. Такие фразы, как трансферное обучение и адаптация предметной области, используются для обозначения аналогичных процессов. Адаптация домена - это процесс адаптации одного или нескольких исходных доменов к средствам передачи информации для повышения производительности целевого ученика. Процесс адаптации домена пытается изменить исходный домен, пытаясь приблизить распределение источника к распределению цели. В настройке «Адаптация домена» исходный и целевой домены имеют разные предельные распределения p (X). Согласно исследованию Пана, «Трансферное обучение» - это более широкий термин, который также может включать случай, когда существует различие в условных распределениях p (Y | X) исходного и целевого доменов. Напротив,

1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html

Я думаю, что «трансферное обучение» является более общим термином, а «адаптация домена» - сценарием «трансферного обучения».

[1] Переносимое внимание для доменной адаптации. http://ise.thss.tsinghua.edu.cn/~mlong/doc/transferable-attention-aaai19.pdf

Согласно [1], адаптация домена - это обучение передаче в NLP: «Обучение передаче в области NLP иногда называют адаптацией домена».

[1] Пан, SJ и Q. Ян. «Опрос по трансферному обучению». IEEE Труды по знаниям и проектированию данных 22, нет. 10 (октябрь 2010 г.): 1345–59. https://doi.org/10.1109/TKDE.2009.191 или https://www.cse.ust.hk/~qyang/Docs/2009/tkde_transfer_learning.pdf