Является ли множественная линейная регрессия в 3 измерениях плоскостью наилучшего соответствия или линией наилучшего соответствия?

Наш проф не входит в математику или даже геометрическое представление множественной линейной регрессии, и это меня немного смущает.

С одной стороны, это все еще называется множественной линейной регрессией, даже в более высоких измерениях. С другой стороны, если мы, например , Y = B 0 + B 1 X 1 + Ь 2 X 2 и мы можем подключить любые значения , которые мы хотели бы для X 1 и X 2 , не это дает нам плоскость возможных решений, а не линия?$\hat{Y} = b_0 + b_1 X_1 + b_2 X_2$$X_1$$X_2$

В общем, разве наша поверхность предсказания не будет мерной гиперплоскостью для k независимых переменных?$k$$k$

Вы правы, поверхность решения вообще будет гиперплоскостью. Просто слово «гиперплоскость» - это глоток, плоскость короче, а линия еще короче. Как вы продолжите в математике, одномерный случай обсуждается все реже, так что компромисс

Big words for high dimensional, Small words for small dimensional

начинает смотреть, ну, задом наперед.

Например, когда я вижу уравнение типа , где A - матрица, а x , b - векторы, я называю это линейным уравнением . В более ранней части моей жизни я бы назвал это системой линейных уравнений , зарезервировав линейное уравнение для одномерного случая. Но потом я дошел до того, что одномерный случай не появлялся очень часто, тогда как многомерный случай был повсюду.$Ax = b$$A$$x, b$

Это также происходит с обозначениями. Когда-нибудь видел, чтобы кто-то писал

Этот символ слева является именем функции, поэтому, чтобы быть формальным и педантичным, вы должны написать

Это становится хуже в многомерных измерениях, когда производная принимает два аргумента, один - где вы берете производную, а другой - в каком направлении вы оцениваете производную, которая выглядит как

но люди очень ленивы и начинают отбрасывать те или иные аргументы, оставляя их понятными из контекста.

Профессиональные математики, твердо владеющие языком, называют это злоупотреблением обозначениями . Существуют темы, в которых было бы невозможно выразить себя без злоупотребления обозначениями, и моя любимая дифференциальная геометрия является тому примером. Великий Николай Бурбаки очень красноречиво высказал эту мысль

По мере возможности мы обращали внимание в тексте на злоупотребления языком, без которых любой математический текст рискует педантичностью, не говоря уже о нечитаемости.

- Бурбаки (1988)

Вы даже комментируете злоупотребление обозначениями, в которое я попал выше, даже не заметив этого сами!

Технически, так как вы написали df / dx как частную производную, даже если другие подразумеваемые переменные будут считаться постоянными, техническая частичная производная все еще не будет функцией всех переменных исходной функции, как в df / dx ( х, у, ...)?

Вы совершенно правы, и это дает хорошую (непреднамеренную) иллюстрацию того, что я получаю здесь.

$\frac{d f}{d x}$$\partial$

Думаю, я думаю об этом, когда мы говорим «бесконечная сумма» вместо «предел суммы, когда число членов приближается к бесконечности». Я думаю о том, что все в порядке, пока ясна концептуальная разница. В этом случае (множественная регрессия) я не был уверен, о чем мы вообще говорили.

$\Sigma$

Как ленивые люди, мы хотим сэкономить слова в общих случаях.

(*) Исторически сложилось так, что развивались бесконечные суммы. Предел определения частичных сумм был разработан апостериорно, когда математики начали сталкиваться с ситуациями, когда необходимо очень точно рассуждать.

«Линейный» не совсем означает, что вы думаете, что делает в этом контексте - это немного более общий

Во-первых, на самом деле это не ссылка на линейность по x, а на параметры * («линейный по параметрам»).

$E(Y|X) = X\beta$$\beta$

Таким образом, плоскость (или, в более общем случае, гиперплоскость) наилучшего соответствия все еще является «линейной регрессией».

$1$$X\beta$$X$$\beta$