Что такое «частичное» в методах частичных наименьших квадратов?


16

Что означает термин «частичный» в моделировании структурных уравнений с частичной наименьших квадратов (PLSR) или частичных наименьших квадратов (PLS-SEM)?


4
Обратите внимание, что Уолд младший считает, что название «частичный наименьший квадрат» вводит в заблуждение и должно было называться «проекция на скрытые пространства».
Момо

@ Момо: Да, я читал об этом. Однако даже если PLS в некоторой степени вводит в заблуждение, «проекция на скрытые пространства» еще менее ясна, не говоря уже об отсутствии удобства использования термина в письменной форме.
Александр Блех

Ответы:


17

Я хотел бы ответить на этот вопрос, во многом исходя из исторической перспективы , что довольно интересно. Герман Волд, который изобрел метод частичных наименьших квадратов (PLS) , не сразу начал использовать термин PLS (или даже упомянул термин частичные ). В начальный период (1966-1969 гг.) Он назвал этот подход NILES - сокращение термина и названия его первоначальной статьи на эту тему « Нелинейное оценивание с помощью итерационных процедур наименьших квадратов» , опубликованной в 1966 г.

Как мы видим, процедуры, которые в дальнейшем будут называться частичными, назывались итеративными , фокусируясь на итеративном характере процедуры оценки весов и скрытых переменных (LV). Термин «наименьшие квадраты» происходит от использования регрессии обычных наименьших квадратов (OLS) для оценки других неизвестных параметров модели (Wold, 1980). Кажется, что термин «частичный» имеет корни в процедурах NILES, в которых реализована «идея разбить параметры модели на подмножества, чтобы их можно было оценить по частям» (Sanchez, 2013, p. 216; выделено мое) ,

Первое использование термина PLS произошло в процедуре оценки нелинейных итеративных частичных наименьших квадратов (NIPALS) , публикация которой отмечает следующий период истории PLS - период моделирования NIPALS . 1970-е и 1980-е годы стали периодом мягкого моделирования , когда под влиянием подхода LISREL Карла Йорескога к SEM Вольд преобразует подход NIPALS в мягкое моделирование, которое, по сути, сформировало ядро ​​современного подхода PLS (термин PLS становится основным в конце 1970-х годов. ). 1990-е годы, следующий период в истории PLS, который Санчес (2013) называет периодом «разрыва», в значительной степени отмечен уменьшением его использования. К счастью, начиная с 2000-х годов ( период консолидации), PLS получил свое признание как очень популярный подход к анализу SEM, особенно в социальных науках.

ОБНОВЛЕНИЕ (в ответ на комментарий амебы):

  • Возможно, формулировка Санчеса не идеальна в фразе, которую я привел. Я думаю, что «оценка по частям» относится к скрытым блокам переменных. Wold (1980) подробно описывает эту концепцию.
  • Вы правы, что NIPALS изначально был разработан для PCA. Путаница связана с тем, что существуют как линейные, так и нелинейные методы. Я думаю, что Rosipal (2011) очень хорошо объясняет различия (по крайней мере, это лучшее объяснение, которое я видел до сих пор).

ОБНОВЛЕНИЕ 2 (дальнейшее уточнение):

В ответ на озабоченность, выраженную в ответе амебы, я хотел бы уточнить некоторые моменты. Мне кажется, что мы должны различать использование слова «частичный» между NIPALS и PLS. Это создает два отдельных вопроса о 1) значении «частичного» в NIPALS и 2) значении «частичного» в PLS (это первоначальный вопрос Phil2014). Хотя я не уверен насчет первого, я могу дать дополнительные разъяснения по поводу второго.

Согласно Wold, Sjöström и Eriksson (2001),

«Частичное» в PLS указывает, что это частичная регрессия, так как ...

Другими словами, «частичное» проистекает из того факта, что декомпозиция данных по алгоритму NIPALS для PLS может не включать в себя все компоненты , следовательно, «частичная». Я подозреваю, что та же самая причина относится к NIPALS в целом, если возможно использовать алгоритм на «частичных» данных. Это объяснило бы "P" в NIPALS.

С точки зрения использования слова «нелинейный» в определении NIPALS (не путайте с нелинейным PLS , представляющим нелинейный вариант подхода PLS!), Я думаю, что оно относится не к самому алгоритму , а к нелинейным моделям , которые могут быть проанализированы с использованием линейной регрессии на основе NIPALS.

ОБНОВЛЕНИЕ 3 (объяснение Германа Уолда):

Хотя статья Германа Уолда 1969 года, по-видимому, является самой ранней статьей о НИПАЛС, мне удалось найти еще одну из самых ранних работ по этой теме. Это документ Wold (1974), где «отец» PLS представляет свое обоснование использования слова «частичный» в определении NIPALS (стр. 71):

3.1.4. Оценка NIPALS: итеративный OLS. Если одна или несколько переменных модели являются скрытыми, отношения предикторов включают не только неизвестные параметры, но и неизвестные переменные, в результате чего задача оценки становится нелинейной. Как указано в 3.1 (iii), NIPALS решает эту проблему с помощью итерационной процедуры, скажем, с шагами s = 1, 2, ... Каждый шаг s включает в себя конечное число регрессий OLS, по одному для каждого отношения предиктора модели. Каждая такая регрессия дает прокси-оценки для подмножества неизвестных параметров и скрытых переменных (отсюда и название частичных наименьших квадратов), и эти прокси-оценки используются на следующем шаге процедуры для вычисления новых прокси-оценок.

Ссылки

Росипал Р. (2011). Нелинейные частичные наименьшие квадраты: обзор. В Лодхи Х. и Яманиши Й. (ред.), Хемоинформатика и Перспективы перспективного машинного обучения: сложные вычислительные методы и методы совместной работы , с. 169-189. ACCM, IGI Global. Получено с http://aiolos.um.savba.sk/~roman/Papers/npls_book11.pdf

Санчес, Г. (2013). Моделирование пути PLS с R. Berkeley, CA: Trowchez Editions. Получено с http://gastonsanchez.com/PLS_Path_Modeling_with_R.pdf

Wold, H. (1974). Причинные потоки со скрытыми переменными: разделение путей в свете моделирования NIPALS. Европейский экономический обзор, 5 , 67-86. Северная Голландия Издательство.

Wold, H. (1980). Построение и оценка модели при недостаточности теоретических знаний: теория и применение частичных наименьших квадратов. В J. Kmenta и JB Ramsey (Eds.), Оценка эконометрических моделей , с. 47-74. Нью-Йорк: Академическая пресса. Получено с http://www.nber.org/chapters/c11693

Wold, S., Sjöström, M. & Eriksson, L. (2001). PLS-регрессия: основной инструмент хемометрики. Chemometrics and Intelligent Laboratory Systems, 58 , 109-130. doi: 10.1016 / S0169-7439 (01) 00155-1 Получено с http://www.libpls.net/publication/PLS_basic_2001.pdf


@amoeba: я полагаю, что этот документ объясняет PLS в отличие от других подходов более техническим способом, который вы недавно обсуждали. Тем не менее, обратите внимание, что приведенное выше объяснение сфокусировано на регрессии PLS, тогда как PLS включает несколько классов системного анализа (см. Слайд 10 в следующей презентации). Технические примечания к слайдам 25-29 ИМХО также полезны. Презентация: plsmodeling.com/pls/pls-introduction .
Александр Блех

@ Александр Блех: Это очень хорошие ссылки.
Альф

Ого, люди дают имена периодам истории PLS! Впечатляет.
говорит амеба, восстанови Монику

Если серьезно, то я заглянул в книгу Санчеса, но все еще не понимаю, что NIPALS имеет отношение к «идее разделения параметров модели на подмножества, чтобы их можно было оценить по частям» . Первоначально NIPALS был предложен в качестве метода для вычисления основных компонентов, верно? Это довольно просто. Я не вижу каких-либо «разбиений» параметров на «подмножества», поэтому я понятия не имею, о чем здесь говорит Санчес. Кстати, я также не понимаю "нелинейный" в NIPALS. Конечно, PCA - это линейная техника!
говорит амеба, восстанови Монику

@amoeba: Пожалуйста, смотрите мое обновление в ответ на ваш комментарий. Надеюсь, это поможет.
Александр Блех

7

XY

Однако исторически, как хорошо объясняет @Aleksandr (+1), PLS был представлен Уолдом, который использовал его алгоритм NIPALS для его реализации; NIPALS расшифровывается как «нелинейные итерированные частичные наименьшие квадраты», поэтому очевидно, что P в PLS только что получен из NIPALS.

Xvpvp

  1. v=Xp(pp)1
  2. v1
  3. p=Xv(vv)1

vpX

(Почему он назвал это "нелинейным", я все еще не понимаю.)

Этот термин вводит в заблуждение, потому что если он «частичный», то каждый алгоритм максимизации ожидания тоже «частичный» (на самом деле, NIPALS можно рассматривать как примитивную форму EM, см. Roweis 1998 ). Я думаю, что PLS является хорошим кандидатом на конкурс «Самый вводящий в заблуждение термин в машинном обучении». Увы, вряд ли это изменится, несмотря на усилия Уолда младшего (см. Комментарий @ Momo выше).


Вас может заинтересовать ОБНОВЛЕНИЕ 2 моего ответа с дальнейшими разъяснениями.
Александр Блех

Спасибо за продолжение этой дискуссии (чтобы избежать недоразумений, я должен сказать, что я не пытался вас критиковать!). Теперь к вашему Update2. Как вы думаете, почему мы должны различать значение «частичное» в PLS и NIPALS? Это звучит странно; PLS выросла из работы над NIPALS, и это говорит о том, что его название просто сокращенно «niPaLS». Это подтверждается Wold et al. Документ 2001 года, который вы нашли: «Это включало простой, но эффективный способ оценки параметров в этих моделях, называемый NIPALS [...]. Это привело, в свою очередь, к сокращению PLS для этих моделей» .
говорит амеба: восстанови монику

1
vpX

1
Большой! Я думаю, что на вопрос наконец-то был дан удовлетворительный ответ. И я наконец проголосовал за ваш ответ, +1 :-) Я отредактировал свой ответ, чтобы включить это новое понимание. Относительно вашего ответа: когда вы объяснили слово «частичное» в обновлении 1 и обновлении 2, действительно ли вы имели в виду то же самое, что мы сейчас согласовали? Мне кажется, ваш ответ в настоящее время содержит несколько различных интерпретаций ...
говорит амеба Reinstate Monica

1
Я не знаю! Возможно, это правильно. Можете ли вы уточнить, какие «нелинейные модели» можно анализировать с помощью NIPALS и как? С другой стороны, это, вероятно, совершенно другая тема. Я предполагаю, что дело в том, что Уолд разработал NIPALS не для вычисления PCA для себя, но имел в виду некоторые конкретные приложения, где ему приходилось сталкиваться с нелинейными проблемами и линеаризовать их каким-то образом, сводя к PCA? В настоящее время люди представляют NIPALS как простой алгоритм для вычисления ведущих сингулярных векторов, но, возможно, Уолд из 1969 года не согласится с этой точкой зрения вообще!
говорит амеба, восстанови Монику
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.