Решение наименьших абсолютных отклонений с использованием алгоритма Барродейла-Робертса: преждевременное прекращение?

Пожалуйста, извините за длинный вопрос, просто нужно какое-то объяснение, чтобы приступить к актуальной проблеме. Те, кто знаком с упомянутыми алгоритмами, вероятно, могут сразу перейти к первому симплексному таблау.

Для решения задач наименьшего абсолютного отклонения (или -оптимизация) алгоритм Барродейла-Робертса является симплексным методом специального назначения, который требует гораздо меньших затрат памяти и вычислительных усилий для поиска подходящего минимума. $L_1$

Моя реализация алгоритма заканчивается простым примером, прежде чем будет достигнут необходимый минимум. Однако, возможно, позвольте мне сначала сформулировать проблему более подробно:

Учитывая данные , -оптимизация пытается найти который минимизирует где - матрица которая каким-то образом зависит от . Эта проблема может быть сформулирована как линейная программа и, следовательно, среди прочего, может быть решена с использованием симплекс-подобных методов. $(x_i,y_i)$ $L_1$ $c\in m$

Σ_{я знак равно 1}^{N} | Y_{я} - е ({Икс}_{я}) | с е (Икс) знак равно A_{Икс} \cdot φ

$\sum_{i=1}^n |y_i-f(x_i)| \quad\text{with}\quad f(x):=A_x\cdot \phi$

A_{x}

$A_x$

n \times m

$n\times m$

x

$x$

Барродейл и Робертс предложили (по-видимому, широко используемую) модификацию симплекс-метода, которая радикально упрощает симплекс-метод, используя специальную структуру -задач. В частности, это то, что оптимальное решение интерполирует по крайней мере заданных точек данных. Те, у кого есть доступ к Jstor, могут найти соответствующую статью здесь . $L_1$ $\mathop{rank}(A)$

Лей и Андерсон в 2002 году предложили небольшую модификацию, которая должна повысить числовую стабильность и, следовательно, преодолеть известные проблемы с помощью симплексного алгоритма.

По сути, этот алгоритм предполагает, что вы начинаете с заданного набора точек, которые должны быть интерполированы, используете данные процедуры для построения симплексной таблицы, а затем используете правила Барродейла и Робертса, чтобы решить, какие базисные переменные изменить, и, следовательно, изменить набор точек данных, которые являются приблизительными.

Барродейл и Робертс приводят небольшой пример, который я пытался воспроизвести. Он пытается аппроксимировать точки функцией . Завершите свой алгоритм следующей сжатой симплекс-таблицей: $\{(1,1), (2,1), (3,2), (4,3), (5,2)\}$ $a_1+a_2x$

\begin{array}{llll} основа & р & U_{1} & U_{3} \\ б_{1} & 1 / 2 & 3 / 2 & - 1 / 2 \\ v_{2} & 1 / 2 & 1 / 2 & 1 / 2 \\ б_{2} & 1 / 2 & - 1 / 2 & 1 / 2 \\ u_{4} & 1 / 2 & 1 / 2 & - 3 / 2 \\ v_{5} & 1 & - 1 & 2 \\ Marginal cost & 2 & - 1 & 0 \end{array}

$\begin{array}{l|l|ll} \hline \text{Basis}&R& u_1 & u_3\\ \hline b_1 & 1/2 & 3/2 & -1/2 \\ v_2 & 1/2 & 1/2 & 1/2 \\ b_2 & 1/2 & -1/2 & 1/2 \\ u_4 & 1/2 & 1/2 & -3/2 \\ v_5 & 1 & -1 & 2 \\ \hline \text{Marginal cost} &2 & -1 & 0\\ \hline \end{array}$

Самое главное, что первая и третья точки интерполируются, а общая ошибка равна . Они заключают, что $2$

Поскольку все неосновные векторы имеют неположительные предельные издержки [...]

итерация закончена и оптимальное значение достигнуто.

Если я использую алгоритм Лея и Андерсона, я могу воспроизвести эту симплекс-таблицу для набора интерполяции {1,3}, как и ожидалось. Однако, если я запускаю алгоритм с набором (что явно не оптимально), я получаю следующую симплексную таблицу: $\{2, 5\}$

\begin{array}{llll} Basis & R & u_{2} & u_{5} \\ u_{1} & 1 / 3 & - 4 / 3 & 1 / 3 \\ b_{1} & 1 / 3 & 5 / 3 & - 2 / 3 \\ u_{3} & 2 / 3 & - 2 / 3 & - 1 / 3 \\ u_{4} & 4 / 3 & - 1 / 3 & - 2 / 3 \\ b_{2} & 1 / 3 & - 1 / 3 & 1 / 3 \\ Marginal cost & 7 / 3 & - 10 / 3 & - 5 / 3 \end{array}

$\begin{array}{l|l|ll} \hline \text{Basis}&R& u_2 & u_5\\ \hline u_1 & 1/3 & -4/3 & 1/3 \\ b_1 & 1/3 & 5/3 & -2/3 \\ u_3 & 2/3 & -2/3 & -1/3 \\ u_4 & 4/3 & -1/3 & -2/3 \\ b_2 & 1/3 & -1/3 & 1/3 \\ \hline \text{Marginal cost} &7/3 & -10/3 & -5/3\\ \hline \end{array}$

Этот результат меня озадачивает. Если я правильно понимаю приведенную выше цитату, отсутствие положительных предельных издержек означает достижение оптимального значения. Хотя значение функции около 2,33, безусловно, не является оптимальным. Замена на дала бы результат, который находится на одном уровне с решением Барродейла и Робертса и поэтому оптимален. $u_2$ $u_1$

Дополнительная информация: Если я начну с исходной таблицы, приведенной Барродейлом и Робертсом, я также смогу воспроизвести приведенную выше таблицу обычными симплексными шагами, поэтому я довольно уверен, что фактические числовые значения верны, и моя интерпретация правила выбора сводной таблицы неисправен.

Есть мысли по этому поводу?

Я понимаю, что сам вопрос довольно сложен и, вероятно, требует достаточного знания хотя бы алгоритма Барродейла и Робертса. Алгоритм в целом состоит в том, чтобы долго повторять его здесь в деталях. Однако, если у вас есть дополнительные вопросы о шагах, которые я предпринял, или о пропущенных фрагментах информации, не стесняйтесь спрашивать, и я с удовольствием дополню вопрос.

optimization linear-programming

— Тило
источник

Если бы кто-то с достаточной репутацией мог создать тег по принципу «Наименьшие абсолютные отклонения» или «L1-приближение», я был бы благодарен.

— Тило

Условие оптимальности состоит в том, что базовое решение должно быть выполнимым (с учетом его ограничений неотрицательности) и что сниженные затраты должны быть меньше или равны 0. Если ваше базовое решение неосуществимо, то все ставки отменены.

— Брайан Борчерс

Основное решение возможно по конструкции. Таким образом, не должно быть никаких проблем. У меня, однако, есть первое представление о том, где может быть проблема. Я добавлю соответствующий ответ, если я прав.

— Тило

Решил это. На самом деле Барродейл и Робертс решили это, и я просто не читал внимательно.

В своем вопросе я оставил читателю понять, что переменные Барродейла и Робертса, помеченные обозначают положительные невязки datapoint по отношению к текущей подгонке. Если остаток отрицателен, и принимает соответствующее значение. Поскольку в базисе может находиться только один из них, а коэффициенты в симплекс-таблице являются просто отрицаниями друг друга, нет необходимости явно указывать их в симплекс-таблице. Барродейл и Робертс упоминают в своей статье: $u_i$ $i$ $u_i=0$ $v_i$

[...] и что сумма предельных (или уменьшенных) затрат для и равна нулю, а для и равна -2. $b_j$ $c_j$ $u_i$ $v_i$

Таким образом, моя приведенная выше симплексная таблица должна выглядеть следующим образом:

\begin{array}{llllll} Basis & R & u_{2} & u_{5} & v_{2} & v_{5} \\ u_{1} & 1 / 3 & - 4 / 3 & 1 / 3 & 4 / 3 & - 1 / 3 \\ b_{1} & 1 / 3 & 5 / 3 & - 2 / 3 & - 5 / 3 & 2 / 3 \\ u_{3} & 2 / 3 & - 2 / 3 & - 1 / 3 & 2 / 3 & 1 / 3 \\ u_{4} & 4 / 3 & - 1 / 3 & - 2 / 3 & 1 / 3 & 2 / 3 \\ b_{2} & 1 / 3 & - 1 / 3 & 1 / 3 & - 1 / 3 & - 1 / 3 \\ Marginal cost & 7 / 3 & - 10 / 3 & - 5 / 3 & 4 / 3 & - 1 / 3 \end{array}

$\begin{array}{l|l|ll| ll} \hline \text{Basis}&R& u_2 & u_5 & v_2 & v_5\\ \hline u_1 & 1/3 & -4/3 & 1/3 & 4/3 & -1/3 \\ b_1 & 1/3 & 5/3 & -2/3 & -5/3 & 2/3 \\ u_3 & 2/3 & -2/3 & -1/3 & 2/3 & 1/3 \\ u_4 & 4/3 & -1/3 & -2/3 & 1/3 & 2/3 \\ b_2 & 1/3 & -1/3 & 1/3 & -1/3 & -1/3 \\ \hline \text{Marginal cost} &7/3 & -10/3 & -5/3 & 4/3 & -1/3\\ \hline \end{array}$

где мы ясно видим, что может быть введен в базу для архивации лучшего результата. Делая это, алгоритм завершает работу при интерполяции первого и пятого точек данных с общей ошибкой 2, что является наилучшим решением. $v_2$

Спасибо за чтение и за то, что дали мне место, чтобы записать мою проблему, что обычно помогает значительно сузить решение. Надеюсь, этот ответ иногда может быть полезен для всех, кто пытается внедрить Barrodale & Roberts.

— Тило
источник