Многомерная ортогональная полиномиальная регрессия?

В качестве средства мотивации вопроса рассмотрим проблему повторного сопоставления, в которой мы пытаемся оценить используя наблюдаемые переменные $Y$ $\{ a, b \}$

Делая многомерную полиномиальную регрессию, я стараюсь найти оптимальную парамитизацию функции

f (y) = c_{1} a + c_{2} b + c_{3} a^{2} + c_{4} a b + c_{5} b^{2} + \dots

$f(y)=c_{1}a+c_{2}b+c_{3}a^{2}+c_{4}ab+c_{5}b^{2}+\cdots$

которые лучше всего соответствуют данным в наименее квадратичном смысле.

Однако проблема заключается в том, что параметры не являются независимыми. Есть ли способ сделать регрессию на другом наборе «базисных» векторов, которые ортогональны? Делать это имеет много очевидных преимуществ $c_i$

1) коэффициенты больше не коррелированы. 2) значение «не сам по себе ев больше не зависят от степени коэффициентов. 3) Это также имеет вычислительное преимущество, заключающееся в возможности отбрасывать члены более высокого порядка для более грубого, но все же точного приближения к данным. $c_i$

Это легко достигается в случае одной переменной с использованием ортогональных многочленов с использованием хорошо изученного множества, такого как многочлены Чебышева. Однако не совсем понятно (для меня), как это обобщить! Мне пришло в голову, что я могу попарно многочлены Чебышева попарно, но я не уверен, что это математически правильная вещь.

Ваша помощь ценится

regression

— gabgoh
источник

Как насчет тензорного произведения ваших одномерных полиномов? Это похоже на то, на что вы намекали, и они будут ортогональны.

— кардинал

Я думаю, что это удовлетворительный ответ как вопрос :)

— gabgoh

Вы получили что-нибудь с этим? Я также ищу решение многомерной регрессии с использованием ортогональных полиномов. Спасибо

— смущен

Ради завершения (и чтобы помочь улучшить статистику этого сайта, ха) я должен задаться вопросом, не будет ли эта статья также отвечать на ваш вопрос?

АННОТАЦИЯ: Мы обсуждаем выбор полиномиальной основы для аппроксимации распространения неопределенности посредством сложных имитационных моделей с возможностью вывода производной информации. Наша работа является частью более масштабных исследований в области количественной оценки неопределенности с использованием методов выборки, дополненных производной информацией. Подход имеет новые проблемы по сравнению со стандартной полиномиальной регрессией. В частности, мы показываем, что тензорное произведение многомерного ортогонального полиномиального базиса произвольной степени больше не может быть построено. Мы предоставляем достаточные условия для существования ортонормированного множества этого типа, основы для пространства, которое оно охватывает. Мы демонстрируем преимущества базы в распространении материальных неопределенностей посредством упрощенной модели переноса тепла в активной зоне ядерного реактора. По сравнению с тензорным произведением полиномиального базиса Эрмита,

В противном случае основа тензорного произведения одномерных полиномов является не только подходящей техникой, но и единственной, которую я могу найти для этого.

— Aarthi
источник