В чем разница между функцией потерь и функцией принятия решений?

Я вижу, что обе функции являются частью методов интеллектуального анализа данных, таких как Gradient Boosting Regressors. Я вижу, что это тоже отдельные объекты.

Каковы отношения между обоими в целом?

Функция принятия решения - это функция, которая принимает набор данных в качестве входных данных и выдает решение в качестве выходных данных. Какое решение может быть, зависит от имеющейся проблемы. Примеры включают в себя:

• Проблемы оценки: «решение» - это оценка.
• Проблемы проверки гипотез: решение состоит в том, чтобы отклонить или не отклонить нулевую гипотезу.
• Проблемы классификации: решение состоит в том, чтобы классифицировать новое наблюдение (или наблюдения) в категорию.
• Проблемы выбора модели: решение состоит в том, чтобы выбрать одну из моделей-кандидатов.

Как правило, существует бесконечное количество функций решения, доступных для проблемы. Если, например, мы заинтересованы в оценке роста шведских мужчин на основе десяти наблюдений , мы можем использовать любую из следующих решающих функций d ( x ) :$\mathbf{x}=(x_1,x_2,\ldots,x_{10})$$d(\mathbf{x})$

• Выборка означает: .$d(\mathbf{x})=\frac{1}{10}\sum_{i=1}^{10}x_i$
• Медиана выборки: $d(\mathbf{x})=\mbox{median}(\mathbf{x})$
• Среднее геометрическое для выборки: $d(\mathbf{x})=\sqrt[10]{x_1\cdots x_{10}}$
• Функция, которая всегда возвращает 1: , независимо от значения x . Глупо, да, но, тем не менее, это действительная функция принятия решения.$d(\mathbf{x})=1$$\mathbf{x}$

Как тогда мы можем определить, какую из этих функций принятия решений использовать? Одним из способов является использование функции потерь , которая описывает потери (или затраты), связанные со всеми возможными решениями. Различные функции принятия решений будут приводить к ошибкам разных типов. Функция потерь говорит нам, к какому типу ошибок мы должны быть более обеспокоены. Функция наилучшего решения - это функция, которая дает наименьшую ожидаемую потерю . Что подразумевается под ожидаемой потерей, зависит от обстановки (в частности, говорим ли мы о частых или байесовских статистических данных).

В итоге:

• Функции принятия решений используются для принятия решений на основе данных.
• Функции потерь используются, чтобы определить, какую функцию принятия решения использовать.

Функция потерь - это то, что минимизируется, чтобы получить модель, которая в некотором смысле является оптимальной. Сама модель имеет решающую функцию, которая используется для прогнозирования.

Например, в классификаторах SVM:

• функция потерь: минимизирует погрешность и норму квадрата разделяющей гиперплоскости $\mathcal{L}(\mathbf{w}, \xi) =\frac{1}{2}\|\mathbf{w}\|^2 + C\sum_i \xi_i$
• Функция принятия решения: расстояние со знаком до разделяющей гиперплоскости: $f(\mathbf{x}) = \mathbf{w}^T\mathbf{x} + b$