Функция стоимости в линейной регрессии МНК

32

Меня немного смущает лекция Эндрю Нга о линейной регрессии, посвященная машинному обучению. Там он дал функцию стоимости, которая минимизирует сумму квадратов как:

\frac{1}{2 m} \sum_{i = 1}^{m} {(h_{θ} (X^{(i)}) - Y^{(i)})}^{2}

$\frac{1}{2m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2$

Я понимаю, откуда берется . Я думаю, что он сделал это так, чтобы, когда он выполнил производную на квадратном члене, 2 в квадратном члене отменил бы с половиной. Но я не понимаю, откуда взялись . $\frac{1}{2}$ $\frac{1}{m}$

Зачем нам нужно делать ? В стандартной линейной регрессии ее нет, мы просто минимизируем невязки. Зачем нам это здесь? $\frac{1}{m}$

regression machine-learning loss-functions

— SmallChess
источник

1 / 2m помогает найти среднюю ошибку на точку данных, а m представляет общее количество наблюдений или количество наблюдений.

— Кришнан

33

Как вы, похоже, понимаете, нам, безусловно, не нужен коэффициент для получения линейной регрессии. Минимизаторы, конечно, будут точно такими же, с ним или без него. Типичная причина нормализации по заключается в том, что мы можем рассматривать функцию стоимости как приближение к «ошибке обобщения», которая представляет собой ожидаемую квадратичную потерю в случайно выбранном новом примере (не в обучающем наборе): $1/m$ $m$

Предположим, что взяты из некоторых распределение. Тогда для больших мы ожидаем, что $(X,Y),(X^{(1)},Y^{(1)}),\ldots,(X^{(m)},Y^{(m)})$ $m$

\frac{1}{m} \sum_{i = 1}^{m} {(h_{θ} (X^{(i)}) - Y^{(i)})}^{2} \approx E {(h_{θ} (X) - Y)}^{2} .

$\frac{1}{m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2 \approx \mathbb{E}\left(h_\theta(X)-Y\right)^2.$

Точнее, по строгому закону больших чисел у нас есть с вероятностью 1.

lim_{m \to \infty} \frac{1}{m} \sum_{i = 1}^{m} {(h_{θ} (X^{(i)}) - Y^{(i)})}^{2} = E {(h_{θ} (X) - Y)}^{2}

$\lim_{m\to\infty} \frac{1}{m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2 = \mathbb{E}\left(h_\theta(X)-Y\right)^2$

Примечание. Каждое из приведенных выше утверждений относится к какому-либо конкретному , выбранному без рассмотрения учебного набора. Для машинного обучения мы хотим, чтобы эти операторы сохранялись для некоторых выбранных на основе их хороших характеристик на обучающем наборе. Эти утверждения все еще могут сохраняться в этом случае, хотя нам нужно сделать некоторые предположения относительно набора функций , и нам нужно что-то более сильное, чем Закон больших чисел. $\theta$ $\hat{\theta}$ $\{h_\theta \,|\, \theta \in \Theta\}$

— DavidR
источник

1

@StudentT Это, вероятно, лучшая причина для использования средней ошибки по общему количеству. Мое объяснение на самом деле является лишь следствием более глубокой причины DavidR.

— Мэтью Друри

29

Вам не нужно . Функция потерь имеет одинаковый минимум, независимо от того, используете ли вы или подавляете его. Однако, если вы включите его, вы получите хорошую интерпретацию минимизации (одной половины) средней ошибки на точку данных. Другими словами, вы минимизируете частоту ошибок вместо общей ошибки. $\frac{1}{m}$

Попробуйте сравнить производительность двух наборов данных разного размера. Необработанная сумма квадратов ошибок не сопоставима напрямую, так как большие наборы данных, как правило, имеют большую общую ошибку только из-за их размера. С другой стороны, средняя ошибка на точку данных равна .

Можете ли вы уточнить немного?

Конечно. Ваш набор данных представляет собой набор точек данных . Если у вас есть модель , ошибка наименьших квадратов в одной точке данных $\{ x_i, y_i \}$ $h$ $h$

(h (x_{i}) - y_{i})^{2}

$(h(x_i) - y_i)^2$

это, конечно, отличается для каждого datapoint. Теперь, если мы просто суммируем ошибки (и умножим на половину по причине, которую вы описали), мы получим полную ошибку

\frac{1}{2} \sum_{i} (h (x_{i}) - y_{i})^{2}

$\frac{1}{2} \sum_i (h(x_i) - y_i)^2$

но если мы разделим на число слагаемых, мы получим среднюю ошибку на точку данных

\frac{1}{2 m} \sum_{i} (h (x_{i}) - y_{i})^{2}

$\frac{1}{2m} \sum_i (h(x_i) - y_i)^2$

Преимущество средней ошибки в том , что если у нас есть два набора данных и из differeing размеров , то мы можем сравнивать средние ошибки , но не общее количество ошибок. Например, если второй набор данных, скажем, в десять раз больше первого, то мы ожидаем, что общая ошибка будет примерно в десять раз больше для той же модели. С другой стороны, средняя ошибка делит влияние размера набора данных, и поэтому мы ожидаем, что модели с одинаковой производительностью будут иметь одинаковые средние ошибки на разных наборах данных. $\{ x_i, y_i \}$ $\{ x'_i, y'_i \}$

— Мэтью Друри
источник

1

Я могу отчасти следовать за вами, можете ли вы уточнить немного? Извините, я новичок в машинном обучении!

— SmallChess

@StudentT Я попытался уточнить в своем ответе.

— Мэтью Друри

1

То же самое относится и к случаям, когда вы экспериментируете с размером мини-пакета при выполнении стохастического градиентного спуска, который является наиболее распространенным типом линейного градиентного спуска при работе с большими наборами данных: вы можете легче сравнить ошибку.

— jasonszhao