Точные алгоритмы для невыпуклого квадратичного программирования

Этот вопрос о задачах квадратичного программирования с коробочными ограничениями (box-QP), т. Е. Задачах оптимизации вида

минимизировать учетом . $f(\mathbf{x}) = \mathbf{x}^T A \mathbf{x} + \mathbf{c}^T \mathbf{x}$ $\mathbf{x} \in [0,1]^n$

Если бы был положительно полудетерминированным, то все было бы хорошо, выпукло и легко, и мы могли бы решить проблему за полиномиальное время. $A$

С другой стороны, если бы мы имели ограничение целостности , мы могли бы легко решить задачу за время грубой силой. Для целей этого вопроса это достаточно быстро. $\mathbf{x} \in \{0,1\}^n$ $O(2^n \cdot \mathrm{poly}(n))$

Но как насчет невыпуклого непрерывного случая? Какой самый быстрый известный алгоритм для общих QP?

Например, можем ли мы решить их за умеренно экспоненциальное время, например, , или сложность наихудшего случая наиболее известных алгоритмов чем-то намного хуже? $O(3^n \cdot \mathrm{poly}(n))$

Предыстория: у меня есть несколько довольно небольших коробочных QP, которые я действительно хотел бы решить, и я был немного удивлен, увидев, как плохо работают некоторые коммерческие программные пакеты, даже при очень малых значениях . Я начал задаваться вопросом, есть ли объяснение TCS для этого наблюдения. $n$

ds.algorithms optimization exp-time-algorithms

— Юкка Суомела
источник

Можете ли вы решить именно для PSD

? Решение может быть иррациональным, нет? Если вы готовы потерять

возможно, можно получить экспоненциальный алгоритм времени, выполнив поиск методом грубой силы по достаточно точной сетке. Просто смутное предложение.

A

$A$

ϵ

$\epsilon$

— Чандра Чекури

Недостатком является то, что «основание» показателя будет примерно равно

, но, возможно, умное построение сетки может помочь «маленькому»

1 / ϵ

$1/\epsilon$

n

$n$

— Суреш Венкат

@ChandraChekuri: Аппроксимации отлично подходят, если вы можете достичь, например,

. Однако перебор по такой тонкой сетке невозможен.

ϵ = 10^{- 9}

$\epsilon = 10^{-9}$

— Юкка Суомела

Исключением кванторов на реальных замкнутых полях всегда можно точно решить эти системы.

Если

разрешено, вы можете оптимизировать функцию на каждой из граней куба, просто записав критерии оптимальности первого порядка.

O (3^{n})

$O(3^n)$

— Ёсио Окамото

Оптимальное решение лежит на некотором лице. Итак, мы можем пройти все грани куба и найти все стационарные точки на каждой грани.

$I_0$ $I_1$ $i \in I_0$ $x_i = 0$ $i \in I_1$ $x_i = 1$ $\tilde{x}$ $x$

{\tilde{x}}^{⊤} \tilde{A} \tilde{x} + {\tilde{c}}^{⊤} \tilde{x} + d,

$\tilde{x}^{\top} \tilde{A} \tilde{x} + \tilde{c}^{\top} \tilde{x} + d,$

$\tilde{A}$ $\tilde{c}$ $d$ $0 < \tilde{x} < 1$ .

To this end, we take the differentiation of the objective function to obtain

\frac{1}{2} \tilde{A} \tilde{x} + \tilde{c} = 0.

$\frac{1}{2} \tilde{A} \tilde{x} + \tilde{c} = 0.$

Solving this system of linear equations gives you the stationary points, the candidates for optimal solutions. We go through all of them, check the condition, and choose one with the minimum objective value.

The overall time complexity is something like $O(3^n \text{poly}(n))$ since the number of faces of the $n$ -cube is $3^n$ and a system of linear equations can be solved in polynomial time. The space complexity is polynomial in $n$ .

— Yoshio Okamoto
источник

Why does an optimal solution lie on some face with a non-convex

f

$f$ ?

— cody

@cody: That's because every polytope is the disjoint union of its faces.

— Yoshio Okamoto

What if

f

$f$ is cubic, or quartic? Does this property still hold?

— cody

@cody: The property still holds, but we need to solve an algebraic equation of degree more than one. I'm afraid this is not trivial for multivariate cases.

— Yoshio Okamoto