Интуиция за взаимодействиями тензорных произведений в GAM (пакет MGCV в R)

Обобщенными аддитивными моделями являются те, где

$$y = \alpha + f_1(x_1) + f_2(x_2) + e_i$$ например. функции гладкие и должны быть оценены. Обычно по штрафным сплайнам. MGCV - это пакет в R, который делает это, и автор (Саймон Вуд) пишет книгу о своем пакете с примерами R. Рупперт и соавт. (2003) написать гораздо более доступную книгу о более простых версиях того же самого.

Мой вопрос о взаимодействиях внутри таких моделей. Что если я захочу сделать что-то вроде следующего:

$$y = \alpha + f_1(x_1) + f_2(x_2) + f_3(x_1\times x_2) + e_i$$ если мы были на земле OLS (где $f$ - просто бета), у меня не было бы проблем с интерпретацией . Если мы оценим через штрафные сплайны, у меня также не будет проблем с интерпретацией в аддитивном контексте. $\hat{f}_3$

Но в пакете MGCV в GAM есть такие вещи, как «сглаживание тензорных произведений». Я гуглю "тензорный продукт", и мои глаза тут же застывают, пытаясь прочитать объяснения, которые я нахожу. Либо я недостаточно умен, либо математика не очень хорошо объяснена, либо и то, и другое.

Вместо кодирования

normal = gam(y~s(x1)+s(x2)+s(x1*x2))

тензорный продукт будет делать то же самое (?)

what = gam(y~te(x1,x2))

когда я делаю

plot(what)

или

vis.gam(what)

Я получаю действительно крутой вывод. Но я понятия не имею, что происходит внутри черного ящика te(), и как интерпретировать вышеупомянутый крутой вывод. Как раз прошлой ночью мне приснился кошмар, когда я проводил семинар. Я показал всем крутой график, они спросили меня, что это значит, а я не знал. Потом я обнаружил, что на мне нет одежды.

Может ли кто-нибудь помочь мне и потомкам, дав немного механики и интуиции в отношении того, что здесь происходит под капотом? В идеале сказать немного о разнице между случаем нормального аддитивного взаимодействия и случаем тензора? Бонусные баллы за то, что вы все говорите на простом английском, прежде чем перейти к математике.

Я постараюсь ответить на это в три этапа: во-первых, давайте точно определим, что мы подразумеваем под одномерным гладким. Далее мы опишем многовариантное гладкое (в частности, гладкое из двух переменных). Наконец, я постараюсь описать гладкое тензорное произведение.

1) одномерный гладкий

Допустим, у нас есть некоторые ответные данные которые, как мы предполагаем, представляют собой неизвестную функцию f переменной-предиктора x плюс некоторую ошибку ε . Модель будет:$y$$f$$x$$ε$

$$y=f(x)+ε$$

Теперь, чтобы соответствовать этой модели, мы должны определить функциональную форму . Мы делаем это путем определения базовых функций, которые накладываются друг на друга, чтобы полностью представить функцию f . Очень простым примером является линейная регрессия, в которой базисными функциями являются просто β 2 x и β 1 , точка пересечения. Применяя расширение базы, мы имеем$f$$f$$β_2x$$β_1$

$$y=β_1+β_2x+ε$$

В матричной форме мы бы имели:

$$Y=Xβ+ε$$

Где - вектор столбцов n-на-1, X - матрица модели n-на-2, β - вектор столбцов 2-на-1 коэффициентов модели, а ε - вектор ошибок столбцов n-на-1 , У X есть два столбца, потому что в нашем базовом расширении есть два члена: линейный член и точка пересечения.$Y$$X$$β$$ε$$X$

Тот же принцип применим к расширению баз в MGCV, хотя функции базисов намного сложнее. В частности, отдельные базисные функции не должны быть определены в полной области независимой переменной . Это часто имеет место при использовании основ на основе узлов (см. «Пример на основе узлов»)$x$). Затем модель представляется в виде суммы базовых функций, каждая из которых оценивается при каждом значении независимой переменной. Однако, как я уже упоминал, некоторые из этих базисных функций принимают значение ноль за пределами данного интервала и, следовательно, не способствуют расширению базиса за пределами этого интервала. В качестве примера рассмотрим кубический сплайн-базис, в котором каждая базисная функция симметрична относительно другого значения (узла) независимой переменной - иными словами, каждая базисная функция выглядит одинаково, но просто смещается вдоль оси независимой переменной. (это упрощение, поскольку любая практическая основа также будет включать в себя перехват и линейный термин, но, надеюсь, вы поймете идею).

Чтобы быть явным, базовое расширение измерения может выглядеть следующим образом:$i-2$

$$y=β_1+β_2x+β_3f_1(x)+β_4f_2(x)+...+β_if_{i-2} (x)+ε$$

где каждая функция является, возможно, кубической функцией независимой переменной x .$f$$x$

Матричное уравнение все еще можно использовать для представления нашей модели. Единственное отличие состоит в том, что X теперь является матрицей n-by-i; то есть, у него есть столбец для каждого члена в расширении базиса (включая член перехвата и линейный термин). Поскольку процесс расширения базиса позволил нам представить модель в форме матричного уравнения, мы можем использовать линейные наименьшие квадраты для подгонки модели и нахождения коэффициентов β .$Y=Xβ+ε$$X$$β$

Это пример непенализованной регрессии, и одной из основных сильных сторон MGCV является его оценка гладкости с помощью матрицы штрафов и параметра сглаживания. Другими словами, вместо:

$$β=(X^TX)^{-1}X^TY$$

у нас есть:

$$β=(X^TX+λS)^{-1}X^TY$$

где - квадратичная i- by- i штрафная матрица, а λ - скалярный параметр сглаживания. Я не буду вдаваться в спецификацию матрицы штрафов здесь, но достаточно сказать, что для любого данного базисного расширения некоторой независимой переменной и определения квадратичного штрафа за «вихревость» (например, штраф за вторую производную) один можно рассчитать штраф матрицы S .$S$$i$$i$$λ$$S$

MGCV может использовать различные способы оценки оптимального параметра сглаживания . Я не буду вдаваться в эту тему, поскольку моя цель состояла в том, чтобы дать общий обзор того, как строится одномерное сглаживание, что, я полагаю, я сделал.$λ$

2) многомерная гладкая

Приведенное выше объяснение может быть обобщено на несколько измерений. Давайте вернемся к нашей модели, которая дает ответ как функцию f от предикторов x и z . Ограничение двумя независимыми переменными предотвратит загромождение объяснения загадочной нотацией. Модель тогда:$y$$f$$x$$z$

$$y=f(x,z)+ε$$

Теперь, должно быть интуитивно очевидно, что мы будем представлять с базисным расширением (то есть суперпозицией базисных функций), как мы это делали в одномерном случае f ( x ) выше. Также должно быть очевидно, что по крайней мере одна и почти наверняка еще много из этих базисных функций должны быть функциями как x, так и z (если бы это было не так, то неявно f будет отделимым, так что f ( x , z ) = f x ( x ) + $f(x,z)$$f(x)$$x$$z$$f$ ). Визуальную иллюстрацию многомерного сплайнового основания можно найтиздесь. Полное двумерное базисное расширение измерения i - 3 может выглядеть примерно так:$f(x,z)=f_x(x)+f_z(z)$$i-3$

$$y=β_1+β_2x+β_3z+β_4f_1(x,z)+...+β_if_{i-3} (x,z)+ε$$

Я думаю, что довольно ясно, что мы все еще можем представить это в виде матрицы с помощью:

$$Y=Xβ+ε$$

просто оценивая каждую базисную функцию при каждой уникальной комбинации и z . Решение по-прежнему:$x$$z$

$$β=(X^TX)^{-1}X^TY$$

Вычисление матрицы штрафов для второй производной во многом аналогично вычислению в одномерном случае, за исключением того, что вместо интегрирования второй производной каждой базисной функции по одной переменной мы интегрируем сумму всех вторых производных (включая частичные) по отношению для всех независимых переменных. Детали вышеизложенного не особенно важны: дело в том, что мы все еще можем построить штрафную матрицу и использовать тот же метод, чтобы получить оптимальное значение параметра сглаживания λ , и, учитывая этот параметр сглаживания, вектор коэффициентов по-прежнему:$S$$λ$

$$β=(X^TX+λS)^{-1}X^TY$$

Теперь это двумерное гладкое имеет изотропный штраф: это означает, что одно значение применяется в обоих направлениях. Это прекрасно работает, когда x и z находятся примерно в одном масштабе, например, в пространственном приложении. Но что, если мы заменим пространственную переменную z временной переменной t ? Единицы t могут быть намного больше или меньше, чем единицы x , и это может отбросить интеграцию наших вторых производных, потому что некоторые из этих производных внесут непропорциональный вклад в общую интеграцию (например, если мы измеряем t в наносекундах и $λ$$x$$z$$z$$t$$t$$x$$t$$x$в световые годы интеграл от второй производной по может быть значительно больше, чем интеграл от второй производной по x , и, таким образом, "волнистость" в направлении x может оставаться в основном непенализованной). Слайд 15 «гладкой панели инструментов», которую я связал, содержит более подробную информацию по этой теме.$t$$x$$x$

Стоит отметить, что мы не разлагали базисные функции на маргинальные базисы и z . Здесь подразумевается, что многомерное сглаживание должно быть построено из базисов, поддерживающих несколько переменных. Сглаживание тензорного произведения поддерживает построение многомерных базисов из одномерных маргинальных базисов, как я объясню ниже.$x$$z$

3) Тензорное произведение сглаживает

Сглаживание тензорных продуктов решает проблему моделирования реакций на взаимодействие нескольких входов с различными единицами. Предположим, у нас есть ответ который является функцией f от пространственной переменной x и временной переменной t . Наша модель тогда:$y$$f$$x$$t$

$$y=f(x,t)+ε$$

Мы хотели бы построить двумерный базис для переменных и t . Это будет намного проще, если мы можем представить f как:$x$$t$$f$

$$f(x,t)=f_x(x)f_t(t)$$

В алгебраическом / аналитическом смысле это не обязательно возможно. Но помните, мы дискретизируем области и $x$$t$ (представим двумерную «решетку», определяемую расположением узлов на осях и t ), так что «истинная» функция f представлена ​​суперпозицией базисных функций , Так же, как мы предполагали, что очень сложная одномерная функция может быть аппроксимирована простой кубической функцией на определенном интервале ее области, мы можем предположить, что неразделимая функция f ( x , t ) может быть аппроксимирована произведением более простых функций. f x ( $x$$t$$f$$f(x,t)$ и f t ( t ) на интервале - при условии, что наш выбор базисных размеров делает эти интервалы достаточно маленькими!$f_x(x)$$f_t(t)$

Наше расширение базиса, учитывая мерный базис в x и j- мерном базисе в t , будет выглядеть следующим образом:$i$$x$$j$$t$

$$\begin{align} y = &β_{1} + β_{2}x + β_{3}f_{x1}(x)+β_{4}f_{x2}(x)+...+ \\ &β_{i}f_{x(i-3)}(x)+ β_{i+1}t + β_{i+2}tx + β_{i+3}tf_{x1}(x)+β_{i+4}tf_{x2}(x)+...+ \\ &β_{2i}tf_{x(i-3)}(x)+ β_{2i+1}f_{t1}(t) + β_{2i+2}f_{t1}(t)x + β_{2i+3}f_{t1}(t)f_{x1}(x)+β_{i+4}f_{t1}(t)f_{x2}(x){\small +...+} \\ &β_{2i}f_{t1}(t)f_{x(i-3)}(x)+\ldots+ \\ &β_{ij}f_{t(j-3)}(t)f_{x(i-3)}(x) + ε \end{align}$$

Что можно интерпретировать как тензорное произведение. Представьте, что мы оценили каждую базисную функцию по и t , тем самым построив n-by-i и n-by-j модельные матрицы X и T соответственно. Тогда мы могли бы вычислить п 2 матрицы с размерностью $x$$t$$X$$T$$n^2$ тензорное произведение X ⊗ T из этих двух модельных матриц и реорганизовать в столбцы, такимчто каждый столбец представленного уникальной комбинации я J . Напомним, что маргинальные матрицы моделей имели i и$ij$ $X \otimes T$$ij$$i$$j$столбцы соответственно. Эти значения соответствуют их базовым размерам. Наш новый базис с двумя переменными должен иметь размерность и, следовательно, такое же количество столбцов в своей модельной матрице.$ij$

ПРИМЕЧАНИЕ. Я хотел бы отметить, что, поскольку мы явно построили базисные функции тензорного произведения, взяв произведения маргинальных базисных функций, тензорные базисы произведений могут быть построены из маргинальных базисов любого типа. Они не должны поддерживать более одной переменной, в отличие от многомерного сглаживания, описанного выше.

В действительности, этот процесс приводит к общему базисному расширению измерения потому что полное умножение включает умножение каждой t базисной функции на x-пересечение β x 1 (поэтому мы вычитаем j ), а также умножение каждого x базисная функция от t-перехвата β t 1 (поэтому мы вычитаем i ), но мы должны сами добавить перехват обратно (поэтому мы добавляем 1). Это известно как применение ограничения идентифицируемости.$ij-i-j+1$$t$$β_{x1}$$j$$x$$β_{t1}$$i$

Таким образом, мы можем представить это как:

$$y=β_1+β_2x+β_3t+β_4f_1(x,t)+β_5f_2(x,t)+...+β_{ij-i-j+1}f_{ij-i-j-2}(x,t)+ε$$

Где каждая из многомерных базисных функций является произведением пары маргинальных x и t базисных функций. Опять же, довольно ясно, построив эту базу, мы можем представить ее с помощью матричного уравнения:$f$$x$$t$

$$Y=Xβ+ε$$

Который (еще) имеет решение:

$$β=(X^TX)^{-1}X^TY$$

Где матрица модели имеет i j - i - j + $X$$ij-i-j+1$$J_x$$J_t$

$$J_x=β^T I_j \otimes S_x β$$

а также,

$$J_t=β^T S_t \otimes I_i β$$

$x$$t$$λ_x$$λ_t$

Я рекомендую прочитать все виньетки на веб-сайте MGCV, а также « Обобщенные аддитивные модели: и введение в R ». Да здравствует Саймон Вуд.