Какие классические обозначения в статистике, линейной алгебре и машинном обучении? И какие связи между этими обозначениями?

Когда мы читаем книгу, понимание обозначений играет очень важную роль в понимании содержания. К сожалению, разные сообщества имеют разные условные обозначения для формулировки модели и задачи оптимизации. Может ли кто-нибудь суммировать некоторые обозначения формулировки здесь и указать возможные причины?

Я приведу здесь пример: в литературе по линейной алгебре классическая книга представляет собой введение Стренга в линейную алгебру . Наиболее часто используемые обозначения в книге

Где $A$ - матрица коэффициентов , $x$ - переменные, которые нужно решить, а $b$ - вектор в правой части уравнения . Причина книга выбрать это обозначение является основной задачей линейной алгебры является решение линейной системы и выяснить , что вектор $x$ . При такой формулировке задача OLS-оптимизации

В области статистики или машинного обучения грамотные (из книги « Элементы статистического обучения» ) люди используют разные обозначения для обозначения одного и того же:

Где $X$ - это матрица данных , $\beta$ - это коэффициенты или веса, которые нужно изучить , $y$ - это ответ. В Причина люди используют это потому , что люди в статистике или машинного обучения сообщества управляемых данными , поэтому данные и реакция наиболее интересная вещь для них, где они используют $X$ и $y$ представляют.

Теперь мы можем видеть все возможные путаницы: в первом уравнении такой же, как X во втором уравнении. И во втором уравнении X не то, что нужно решать. Также для терминов: A - матрица коэффициентов в линейной алгебре, но это данные в статистике. β также называется «коэффициентами».$A$$X$$X$$A$$\beta$

Кроме того, я упоминал, что - это не совсем то, что люди широко используют в машинном обучении, люди используют половинную векторизованную версию, которая суммирует все точки данных. Такие как$X \beta=y$

Я думаю, что причина этого в том, что хорошо говорить о стохастическом градиентном спуске и других различных функциях потерь. Кроме того, краткие обозначения матрицы исчезают для других задач, кроме линейной регрессии.

Матричная запись для логистической регрессии

Может ли кто-нибудь дать больше резюме по обозначениям в разных литературных источниках? Я надеюсь, что умные ответы на этот вопрос могут быть использованы в качестве хорошего справочного пособия для людей, читающих книги разных литератур.

пожалуйста, не ограничивайтесь моим примером и X β = y . Есть много других. Такие как$A x=b$$X \beta=y$

Почему существуют две разные формулировки / обозначения логистических потерь?

Возможно, связанный с этим вопрос звучит так: «Какие слова используются в разных языках и каковы связи между этими словами?»

Нотация в некотором смысле похожа на язык:

• Некоторые слова имеют специфические для региона значения; некоторые слова широко поняты.
• Как могущественные народы распространяют свой язык, успешные области и влиятельные исследователи распространяют свои нотации.
• Язык развивается с течением времени: язык имеет сочетание исторического происхождения и современного влияния.

Ваш конкретный вопрос ...

• Я бы не согласился с вашим утверждением, что оба следуют «совершенно разным обозначениям». И и A x$X\boldsymbol{\beta} = \boldsymbol{y}$ используют заглавные буквы для обозначения матриц. Они нечторазные.$A\mathbf{x} = \mathbf{b}$
• Машинное обучение тесно связано со статистикой, большой и зрелой областью. Использование для представления матрицы данных почти наверняка является наиболее читаемым и наиболее стандартным соглашением, которому необходимо следовать. В то время как A x$X$ является стандартным для решения линейных систем, этонекак люди делают статистику писать нормальные уравнения. Вы найдете свою аудиторию более запутанной, если попытаетесь это сделать. Когда в Риме...$A\mathbf{x} = \mathbf{b}$
• В некотором смысле, сердце вашего пересмотренного вопроса звучит так: «Каково историческое происхождение статистики, использующей букву для представления данных и букву$x$ для представления неизвестной переменной, для решения которой?» $\beta$
  • Это вопрос к историкам статистики! Вкратце, я вижу, что влиятельный британский статистик и академик из Кембриджа Удни Йоль использовал для представления данных в своем « Введении в теорию статистики» (1911). Он написал уравнение регрессии как x 1 = a + b x 2 , с целью наименьших квадратов, сводящей к минимуму ∑ ( x 1 - a - b x 2 ) 2 , и с решением b 12 = ∑ x $x$$x_1 = a + bx_2$$\sum\left( x_1 - a - bx_2\right)^2$ . Это по крайней мере восходит к тому времени ...$b_{12} = \frac{\sum x_1x_2}{\sum x_2^2}$
  • Еще более влиятельный Р.А. Фишер использовал для зависимой переменной и x для независимой переменной в своей книге « Статистические методы для научных работников» 1925 года . (Подсказка к @Nick Cox для предоставления ссылки с информацией.)$y$$x$

Хорошая запись - это как хороший язык. Избегайте специфичных для поля жаргонов, когда это возможно Напишите в математическом эквиваленте высокий английский BBC, язык, который понятен большинству тех, кто говорит по-английски. Надо писать, когда это возможно, используя обозначения, которые ясны и широко понятны.