Округление для минимизации суммы ошибок в попарных расстояниях

Что известно о сложности следующей задачи:

Дано: рациональные числа . $x_1 < x_2 < \dotso < x_n$
Вывод: целые числа . $y_1 \le y_2 \le \dotso \le y_n$
Цель: минимизировать где $\sum_{1 \leq i < j \leq n} e (i, j),$ $\sum_{1 \le i < j \le n} e(i,j),$ $e (i, j) = | (y_{j} - y_{i}) - (x_{j} - x_{i}) | .$ $e(i,j) = | (y_j-y_i) - (x_j-x_i)|.$

То есть мы хотели бы округлить рациональные числа до целых чисел, чтобы минимизировать сумму ошибок в парных расстояниях. Для каждой пары мы бы хотели, чтобы округленное расстояние как можно ближе к истинному расстоянию . $i, j$ $y_j-y_i$ $x_j-x_i$

Мотивация: скучная поездка на метро и плакат, показывающий «расположение» станций с разрешением в одну минуту времени в пути. Здесь мы минимизируем ошибку, которую совершают люди, если используют плакат для поиска времени в пути между станциями и , усредняя по всем парам . $i$ $j$ $i<j$

Карта маршрута

(источник)

Например, здесь мы можем прочитать следующие приближения парных расстояний между четырьмя станциями (для краткости используем A, B, C, D):

A – B ≈ 1 минута, B – C ≈ 2 минуты, C – D ≈ 2 минуты
A – C ≈ 3 минуты, B – D ≈ 4 минуты
A – D ≈ 5 минут

Это наилучшее из возможных приближений? Если бы вы знали реальное время в пути, могли бы вы найти лучшее решение?

Сначала это звучало как простое упражнение в динамическом программировании, но теперь кажется, что требуется некоторое количество фактического мышления.

Кто-нибудь признает эту проблему? Или видите умный алгоритм для его решения?

Изменить: Есть несколько естественных вариантов вопроса, которые были упомянуты в комментариях; давайте дадим им несколько имен:

версия пола / потолка : требуется, чтобы для всех . $y_i \in \{ \lfloor x_i \rfloor, \lceil x_i \rceil \}$ $i$
целочисленная версия: достаточно, чтобы для всех . $y_i \in \mathbb{Z}$ $i$
монотонная версия: требуется, чтобы . $y_1 \le y_2 \le \dotso \le y_n$
немонотонная версия: у нас может быть для . $y_i > y_j$ $i < j$

Оригинальный вопрос рассматривает монотонную целочисленную версию, но ответы, связанные с любой из этих версий, приветствуются.

ds.algorithms reference-request optimization

— Юкка Суомела
источник

Работает ли DP для случая, когда вы заботитесь только о соседних измерениях?

— Суреш Венкат

@SureshVenkat: На самом деле, в этом случае проблема становится очень простой: вы просто выбираете наилучшее интегральное расстояние для каждого . То есть вы можете минимизировать каждый независимо.

y_{i} - y_{i - 1}

$y_i - y_{i-1}$

i

$i$

e (i - 1, i)

$e(i-1,i)$

— Юкка Суомела

Этот отчет Эсти Аркин кажется связанным: ams.sunysb.edu/~estie/papers/beautification.pdf Доказано, что минимизация количества различных межточечных расстояний на выходе является NP-трудной. Это не общая сумма сдвигов, как в этих вопросах, но, возможно, гаджеты твердости в отчете могли бы предложить доказательство твердости для этой проблемы.

— Валь

У меня есть ощущение, что эта проблема, безусловно, должна быть решена с использованием хорошо известных методов. Давайте посмотрим, достаточно ли щедрости, чтобы мотивировать людей решить эту проблему. :)

— Юкка Суомела

@vzn: меня интересует вычислительная сложность этой проблемы. Если вы можете доказать, что существует подход локального поиска за полиномиальное время, который гарантированно найдет глобальный оптимум, щедрость принадлежит вам.

— Юкка Суомела

Ответы:

ХОРОШО. Алгоритм DP кажется излишне сложным. После прочтения комментариев я думаю, что это может решить монотонную версию проблемы (но я не проверял каждую деталь).

Сначала предположим, что каждый , где является неотъемлемой частью, является дробной частью. Предположим, что округлено до , где - неотрицательное целое число (конечно, в общем случае может быть отрицательным, но мы всегда можем сдвинуться так, чтобы наименьшее значение 0). $x_i = \lfloor x_i\rfloor +\{x_i\}$ $\lfloor x_i\rfloor$ $\{x_i\}$ $x_i$ $\lfloor x_i \rfloor + v_i$ $v_i$ $v_i$ $v_i$

Теперь рассмотрим стоимость пары , при выполнении этого округления. Стоимость должна быть $x_i$ $x_j$

| | v_{i} - v_{j} + ⌊ x_{i} ⌋ - ⌊ x_{j} ⌋ | - | {x_{i}} - {x_{j}} + ⌊ x_{i} ⌋ - ⌊ x_{j} ⌋ | |

$||v_i-v_j+ \lfloor x_i\rfloor - \lfloor x_j\rfloor| - |\{x_i\}-\{x_j\} + \lfloor x_i\rfloor - \lfloor x_j\rfloor||$

Выражение сложное из-за абсолютных значений. Однако обратите внимание, что у нас есть монотонность, поэтому вещи внутри двух внутренних абсолютных значений должны иметь тот же знак. Поскольку у нас есть внешнее абсолютное значение, на самом деле не имеет значения, что это за знак, выражение просто упрощается до

| v_{i} - v_{j} - ({x_{i}} - {x_{j}}) |

$|v_i-v_j - (\{x_i\} - \{x_j\})|$

Отныне мы не предполагаем, что решение является монотонным, но вместо этого мы меняем цель, чтобы минимизировать сумму вышеуказанного члена для всех пар. Если решение этой проблемы оказывается монотонным, то, конечно, это также оптимальное решение для монотонной версии. (Думайте об этом как: исходная задача имеет бесконечное наказание, когда решение не является монотонным, новая проблема имеет меньшее наказание, если монотонное решение выигрывает даже в новой версии, это должно быть решение монотонной версии)

Теперь мы хотели бы доказать, что если , то в оптимальном решении должно быть . $\{x_i\} > \{x_j\}$ $v_i \ge v_j$

Предположим, что это не так, что у нас есть пара но . Покажем, что если мы местами решение станет строго лучше. $\{x_i\} > \{x_j\}$ $v_i < v_j$ $v_i$ $v_j$

Сначала мы сравним термин между и , здесь действительно ясно, что подкачка строго лучше, потому что в не-своп версии, и имеют одинаковый знак, абсолютный значение будет суммой двух абсолютных значений. $i$ $j$ $v_i-v_j$ $\{x_j\}-\{x_i\}$

Теперь для любого сравним сумму пар и . То есть нам нужно сравнить $k$ $(i,k)$ $(j,k)$

$|v_i-v_k-(\{x_i\}-\{x_k\})|+|v_j-v_k-(\{x_j\}-\{x_k\})|$ и, $|v_j-v_k-(\{x_i\}-\{x_k\})|+|v_i-v_k-(\{x_j\}-\{x_k\})|$

Использование , , , , чтобы обозначить четыре условия внутри абсолютного значения, то ясно , что . Также ясно, что, По выпуклости абсолютного значения мы знаем, Взять сумму по всем , мы знаем, что обмен может быть только лучше. $A$ $B$ $C$ $D$ $A+B = C+D$ $|A-B| \ge |C-D|$ $|A|+|B| \ge |C|+|D|$ $x_k$

Обратите внимание, что теперь у нас уже есть решение для версии Monotonic floor / ceil: должен быть порог, когда больше всегда округляется вверх, когда он меньше всегда округляется вниз, когда он равен округлению вверх и некоторые вниз, а качество решения зависит только от количества. Мы перечислим все эти решения и выберем решение с наименьшей целевой функцией. (Все эти решения обязательно являются монотонными). $\{x_i\}$

Наконец, мы хотели бы перейти к монотонной целочисленной версии задачи. Фактически мы можем доказать, что оптимальное решение такое же, как и в монотонной версии пола / потолка.

Как мы и предполагали, наименьшее значение равно 0. Сгруппируйте все значения по их и назовите их группой . Сначала мы докажем, что нет пустых групп, но это просто, если группа пуста, для любого просто пусть . Легко видеть, что целевая функция всегда улучшается (в основном потому, что ). $v_i$ $x_i$ $v_i$ $0,1,2,...,\max\{v_i\}$ $k$ $v_i > k$ $v_i = v_i-1$ $|\{x_i\}-\{x_j\}| < 1$

Теперь мы докажем, что среднее значение в группе по крайней мере равно среднему в группе плюс . Если это не так, просто пусть для всех , вычисление снова показывает, что целевая функция улучшается. $\{x_i\}$ $k+1$ $\{x_i\}$ $k$ $1/2$ $v_i = v_i-1$ $v_i > k$

Поскольку среднее значение находится в диапазоне , в действительности существует не более двух групп, что соответствует версии floor / ceil. $\{x_i\}$ $[0,1)$

— Ронг Гэ
источник

Просто расширенный комментарий ... (возможно, банальный и / или неправильный :)

Если и является наименьшим общим кратным s, то мы можем избавиться от рациональных чисел: . $x_i = a_i / b_i$ $M$ $b_i$ $x'_i = M*x_i$

Если (floor, ceil ограничение), то мы можем использовать двоичные переменные чтобы выразить используя его расстояние от ( или ): $y_i \in \{ \lceil x_i \rceil, \lfloor x_i \rfloor \}$ $v_i$ $y'_i$ $x'_i$ $L_i = x'_i - M*\lfloor x_i \rfloor$ $R_i = x'_i - M*\lceil x_i \rceil$

$y'_i = x'_i + L_i * v_i + R_i * (1 - v_i) = x'_i + (L_i - R_i)*v_i + R_i = x'_i + D_i *v_i + R_i$

И исходная проблема должна (?!?) Быть эквивалентной нахождению которое минимизирует: $v_i$

$\sum_{1 \le i < j \leq n} | D_i * v_i - D_j * v_j |$

с $v_i \in \{0,1\}, D_i \in \mathbb{Z}$

— Марцио де Биаси
источник

Расширяя ваше последнее суммирование, используя приведенную выше идею об ошибке fn, можно ли показать, что оптимальным является фактически выбор, где каждая двоичная переменная floor / ceil ближе к ? так что остается только случай округления для в форме где - целое число.

e^{'} (i, j)

$e'(i,j)$

x_{n}

$x_n$

x_{n}

$x_n$

m_{n} + \frac{1}{2}

$m_n + {1 \over 2}$

m

$m$

— vzn

@vzn: я думаю, что это контрпример. Если мы округляем используя критерии округления мы получаем с ошибкой , но с ошибкой (результат такой же, если мы исключаем умножение рациональных чисел на LCM).

(0, 1.4, 8.7)

$(0, 1.4, 8.7)$

x_{i}

$x_i$

(0, 1, 9)

$(0, 1, 9)$

1.4

$1.4$

(0, 2, 9)

$(0,2,9)$

1.2

$1.2$

— Марцио де Биаси

хорошо, тем не менее, новая идея. рассмотрим раз. расширить суммирование. это уменьшит до многих сроков с и также . но последний равен ! поэтому он сводится к задаче в форме минимизации где - вектор строки 0/1, а - вектор-столбец с постоянными значениями . правда? тогда это тривиально, и просто выберите , чтобы оно равнялось 1, если соответствующий элемент в отрицательный, и 0, если оно положительное .... QED?

e^{'} (i, j)

$e'(i,j)$

v_{i}

$v_i$

v_{i}^{2}

$v_i^2$

v_{i}

$v_i$

X * D

$X*D$

X

$X$

D

$D$

X

$X$

D

$D$

— vzn

@vzn: если вы используете чтобы исключить функцию абсолютного значения, то вы получите такие термины, как ; как вы справляетесь с ними при минимизации?

((y_{i}^{'} - y_{j}^{'}) - (x_{i}^{'} - x_{j}^{'}))^{2}

$((y'_i - y'_j) - (x'_i - x'_j))^2$

- 2 * D_{i} * D_{j} * v_{i} * v_{j}

$- 2*D_i * D_j * v_i * v_j$

— Марцио Де Биаси

упс! Вы ответили до того, как у меня была возможность удалить этот комментарий после осознания того, что ... в любом случае, кажется, что он все еще сводится к некоторой почти линейной проблеме оптимизации матрицы? также с термином где - вектор-столбец ...?

V * V^{T}

$V * V^T$

V

$V$

— vzn

Еще один расширенный комментарий ... Может быть неправильно.

Я также рассматриваю случай с ограничениями пола / потолка и пытаюсь решить его с помощью динамического программирования (не могу, но, возможно, это работает, когда общий делитель мал).

Пусть будет дробной частью , мы рассмотрим вещи от самого маленького до самого большого. Предположим, что наибольшим является , и поскольку мы занимаемся динамическим программированием, мы уже знаем «что-то» (я объясню, что это такое) об оптимальном решении для всего остального, кроме . $\{x_i\}$ $x_i$ $\{x_i\}$ $\{x_k\}$ $x_k$

Теперь рассмотрим разницу в целевой функции, когда мы вверх или вниз. Если изначально некоторые округлены, то разница равна просто 1 (на самом деле не очень тщательно проверил, но кажется, что это так, очень важно, чтобы независимо от того, находится ли слева или справа от , разница всегда одинаково); если изначально некоторый округляется в сторону, то разница составляет . Итак: мы знаем, какое решение нам следует принять, если известны следующие три величины: $x_k$ $x_i$ $x_i$ $x_k$ $x_i$ $2\{x_k\}-2\{x_i\}-1$

сколько вещей округлено
сколько вещей округлено
какова сумма среди тех , которые округлены вниз $\{x_i\}$ $x_i$

Хорошо, 1 и 2 по существу одинаковы, мы можем позволить f [N, Ndown, Sdown] быть оптимальным решением для первых N точек (когда точки сортируются в порядке возрастания ), число округляется в меньшую сторону - Ndown, а сумма для округленных в меньшую сторону - Sdown. Тогда нетрудно написать, как перейти от f [N-1] к f [N]. $\{x_i\}$ $x_i$ $\{x_i\}$

Проблема, конечно, в том, что Sdown может иметь экспоненциально много значений. Но это работает, когда общий делитель мал или мы можем сначала округлить все до точки сетки и получить FPTAS (если приведенная выше динамическая программа верна ...)

— Ронг Гэ
источник

Только что заметил комментарий @Marzio De Biasi. Намного легче думать об этом Динамическом программировании, используя эту целевую функцию. Так как мы по существу сортируем по , когда мы пытаемся рассмотреть окончательный , все абсолютные значения исчезают. Дополнительные расходы: или .

D_{i}

$D_i$

\sum D_{i} v_{i}

$\sum D_iv_i$

(N - 1) D_{k} - \sum D_{i} v_{i}

$(N-1) D_k - \sum D_iv_i$

— Rong Ge

ОК 's не должно быть положительным. Но это также может быть обработано. Нам нужно только сказать разницу междуи . Ndown - количество предыдущих , равных 0, Nup - количество предыдущих , равных 1.

D_{i}

$D_i$

\sum | D_{i} v_{i} |

$\sum |D_i v_i|$

N d o w n | D_{k} | + N u p D_{k} - \sum D_{i} v_{i}

$Ndown|D_k| + Nup D_k - \sum D_iv_i$

v_{j}

$v_j$

v_{j}

$v_j$

— Rong Ge

Это выглядит многообещающе, но я думаю, что есть некоторые дополнительные трудности, если входные значения слишком близки друг к другу. Рассмотрим, например, и . Теперь, если бы мы могли округлять большую сторону и округлять в сторону, у нас больше не было бы приятного свойства, что ошибка изменяется точно на 1 в зависимости от того, округляется ли большую или сторону. С другой стороны, если мы запрещаем округление, которое меняет порядок точек (как у меня в первоначальном вопросе), то, похоже, нам нужно отслеживать возможные округления, которые все еще доступны в динамической программе; мы можем сделать это?

x_{i} = 1.1

$x_i = 1.1$

x_{k} = 1.9

$x_k = 1.9$

x_{i}

$x_i$

x_{k}

$x_k$

x_{k}

$x_k$

— Юкка Суомела

@Jukka Suomela, После того, как я увидел ваш комментарий, я понял, что мы никогда не должны допускать округления чего- либо с большим а округления чего-то с меньшим . Это можно доказать, если изучить все случаи. Тогда ответ на проблему (с ограничениями округления) ясен: должен быть порог, выше порога, который вы должны округлить, ниже, вы должны округлить вниз, на пороге, возможно, некоторые должны быть округлены вверх, а некоторые вниз, но только качество зависит от количества. Эти решения могут быть легко перечислены.

{x_{i}}

$\{x_i\}$

{x_{i}}

$\{x_i\}$

— Rong Ge

Рассматривая все случаи, которые я имею в виду, предположим, что , подумайте о другом в одной из трех областей, разделенных на и , и округляется в большую или меньшую сторону. Во всех 6 случаях округление вниз и вверх никогда не бывает хуже, чем округление вниз и вверх.

{x_{i}} < {x_{j}}

$\{x_i\} < \{x_j\}$

{x_{k}}

$\{x_k\}$

{x_{i}}

$\{x_i\}$

{x_{j}}

$\{x_j\}$

{x_{k}}

$\{x_k\}$

x_{i}

$x_i$

x_{j}

$x_j$

x_{j}

$x_j$

x_{i}

$x_i$

— Rong Ge