Минимизация суммы абсолютного отклонения ( расстояние

15

У меня есть набор данных и я хочу найти параметр такой, чтобы он минимизировал сумму то есть $x_{1}, x_{2}, \ldots, x_{k}$ $m$

\sum_{i = 1}^{k} | m - x_{i} | .

$\sum_{i=1}^{k}\big|m-x_i\big|.$

min_{m} \sum_{i = 1}^{k} | m - x_{i} | .

$\min_{m}\sum_{i=1}^{k}\big|m-x_i\big|.$

optimization convex-optimization

— mayenew
источник

2

Не могли бы вы уточнить немного?

— Джефф Оксберри

В таком случае, не будет ли решение тогда серединой между максимальным и минимальным значениями?

— Павел

@Paul медиана может минимизировать сумму, но хочет знать, как это можно сделать аналитически, в частности, l1-минимизация

— май

@Kadu это верно, медиана является решением. Вычисление медианы аналитически тривиально; просто отсортируйте, а затем возьмите среднее значение.

— Дэвид Кетчесон

22

Возможно, вы просите доказательства того, что медиана решает проблему? Ну, это можно сделать так:

Цель является кусочно-линейной и, следовательно, дифференцируемой, за исключением точек . Каким наклоном объектива является некоторая точка ? Ну, наклон - это сумма наклонов отображений и это либо (для ), либо (для ). Следовательно, наклон показывает, сколько меньше, чем $m=x_i$ $m\neq x_i$ $m\mapsto |m-x_j|$ $+1$ $m>x_j$ $-1$ $m<x_j$ $x_i$ $m$ . Вы видите, что наклон равен нулю, если есть одинаково много меньше и больше, чем (для и четного числа $x_i$ $m$ » s). Если есть нечетное число «Sто наклон слева от„middlest“один и право его, следовательно, middlest один является минимальным. $x_i$ $x_i$ $-1$ $+1$

— кортик
источник

16

Обобщение этой задачи на множественные измерения называется геометрической срединной задачей . Как указывает Дэвид, медиана является решением для одномерного случая; там вы могли бы использовать алгоритмы выбора медианного поиска , которые более эффективны, чем сортировка. Сорта а алгоритмы выбора ; сортировки более эффективны, только если необходимо несколько вариантов выбора, и в этом случае вы можете отсортировать (дорого) один раз, а затем повторно выбирать из отсортированного списка. $O(n\log n)$ $O(n)$

В ссылке на геометрическую задачу о медиане упоминаются решения для многомерных случаев.

— Джефф Оксберри
источник

6

Явное решение с точки зрения медианы является правильным, но в ответ на комментарий Mayenew, вот еще один подход.

$\ell^1$

Следующая формулировка LP подойдет для данного упражнения с неизвестными $z_i,m$

такое, что:

m i n \sum z_{i}

$min \sum z_i$

z_{i} \geq m - x_{i}

$z_i \ge m - x_i$

z_{i} \geq x_{i} - m

$z_i \ge x_i - m$

Ясно , что должна равняться $z_i$ $|x_i - m|$

— hardmath
источник

2

Слишком мощный метод выпуклого анализа, чтобы показать это, - просто взять субградиенты. Фактически это эквивалентно рассуждению, используемому в некоторых других ответах, касающихся склонов.

$\left|m-x_i\right|$

$m<x_i$

$m=x_i$

$m>x_i$

$m$ $x_1,\ldots x_k$

— cjordan1
источник

0

Arg \underset{м}{мин} Σ_{я знак равно 1}^{N} | м - {Икс}_{я} |

$\arg \min_{m} \sum_{i = 1}^{N} \left| m - {x}_{i} \right|$

$\frac{\mathrm{d} \left | x \right | }{\mathrm{d} x} = \operatorname{sign} \left( x \right)$ ${L}_{1}$
$\sum_{i = 1}^{N} \operatorname{sign} \left( m - {x}_{i} \right)$ ,
Это равно нулю только тогда, когда количество положительных элементов равно количеству отрицательных, что происходит, когда $m = \operatorname{median} \left\{ {x}_{1}, {x}_{2}, \cdots, {x}_{N} \right\}$ ,

Следует отметить, что medianдискретная группа не определяется однозначно.
Более того, это не обязательно предмет в группе.

— Royi
источник