Путаница в проблеме сжатого ощущения

Я прочитал некоторые ссылки, включая это .

Я немного сбит с толку, какую проблему оптимизации пытается решить сжатая система зондирования. Это

и / или

или / и что-то еще?

Брайан на месте. Но я думаю, что полезно добавить сжатый контекст восприятия.

Во-первых, обратите внимание, что так называемая норма 0 - функция мощности или число ненулевых значений в - не является нормой . Вероятно, лучше написать это как что-то вроде во всех случаях, кроме самых случайных. Не поймите меня неправильно, вы в хорошей компании, когда используете стенографию , но я думаю, что это порождает путаницу.$\|x\|_0$$x$$\mathop{\textbf{card}}(x)$$\|x\|_0$

В течение долгого времени люди знали, что минимизация нормы приводит к редким решениям. Для этого есть несколько теоретических причин, связанных с линейной комплементарностью. Но самое интересное было не то, что решения были редкими, а то, что они часто были самыми редкими из возможных . То есть минимизация действительно дает вам решение с минимальным количеством элементов в некоторых полезных случаях. (Как они выяснили это, когда проблема минимальной мощности является NP-трудной? Путем построения искусственных задач с известными разреженными решениями.) Это не было чем-то, что могла бы предсказать теория линейной дополнительности.$\ell_1$$\|x\|_1$$\|x\|_1$

Область сжатого зондирования родилась, когда исследователи начали определять условия на матрице , которые позволили бы им заранее гарантировать, что решение также является самым редким. См., Например, самые ранние статьи Кэндеса, Ромберга и Тао , а также другие обсуждения свойства Restricted isometry, или RIP . Еще один полезный веб-сайт, если вы действительно хотите углубиться в какую-то теорию, - это сжатая сенсорная страница Теренса Тао .ℓ $A$$\ell_1$

Мы хотели бы иметь возможность решить

$\min \| x \|_{0}$

улица

$Ax=b$

но эта проблема является проблемой комбинаторной оптимизации NP-Hard, которую практически невозможно решить на практике, когда , x и b имеют размеры, типичные для измерения сжатия. Можно эффективно решить$A$$x$$b$

$\min \| x \|_{1}$

улица

$Ax=b$

как в теории (это может быть сделано за полиномиальное время), так и в вычислительной практике даже для довольно больших проблем, возникающих при измерении сжатия. Мы используем в качестве «суррогата» для ‖ x ‖ $\| x \|_{1}$$\| x \|_{0}$ . Это имеет некоторое интуитивное обоснование (минимизация одной нормы предпочитает решения с меньшим количеством ненулевых элементов в ), а также гораздо более сложные теоретические обоснования (теоремы вида «Если A x = b имеет k-разреженное решение, то минимизируя izing x ‖ 1 найдет это решение с большой вероятностью. " $x$$Ax=b$$\| x \|_{1}$

На практике, поскольку данные часто бывают шумными, точное ограничение $Ax=b$$\| Ax - b \|_{2} \leq \delta$

Также довольно распространено работать с вариационной формой ограниченной задачи, где, например, мы можем минимизировать $\min \| Ax - b\|_{2}^{2} + \lambda \| x \|_{1}$

$\ell^1$$\ell^0$

Можно определить разреженные сигналы из нескольких измерений.

Сжатое зондирование на самом деле заключается в проведении как можно меньшего числа измерений для идентификации сигнала в определенном классе сигналов.

Одна броская фраза:

Почему ваша 5-мегапиксельная камера действительно должна измерять 15 миллионов значений (по три на каждый пиксель), что обойдется вам в 15 мегабайт данных, когда она хранит только около 2 мегабайт (после сжатия)?
Можно ли измерить 2 мегабайта сразу?

Возможны совершенно разные рамки:

• линейные измерения
• нелинейные (например, «бесфазные»)
• векторные данные, матричные / тензорные данные
• разреженность как просто число ненулевых
• разреженность как «низкий ранг» или даже «низкая сложность»).

И есть также больше методов для вычисления разреженных решений, таких как поиск соответствия (варианты, такие как поиск ортогонального соответствия (OMP), регуляризованное преследование ортогонального соответствия (ROMP), CoSaMP) или более поздние методы, основанные на алгоритмах передачи сообщений .

$\ell^1$$\ell^0$ -minimization, один скучает большую гибкость при решении практических задач сбора данных.

Однако если кто-то заинтересован только в получении разреженных решений для линейных систем, он делает то, что я бы назвал редкой реконструкцией .