Аналоги сжатого зондирования

При сжатии считывания цель состоит в том, чтобы найти схемы линейного сжатия для огромных входных сигналов, которые, как известно, имеют разреженное представление, чтобы входной сигнал мог быть эффективно восстановлен из сжатия («эскиз»). Более формально, стандартная установка состоит в том, что существует вектор сигнала для которого , а сжатое представление равно Ax, где A - R- by- n вещественное матрица, где мы хотим R \ ll n . Магия сжатого восприятия заключается в том, что можно явно построить A так , чтобы он позволял быстро (почти линейное время) точно восстанавливать любое k ‖ x ‖ 0 < k A x A R n R ≪ n A $x \in \mathbb{R}^n$$\|x\|_0 < k$$Ax$$A$$R$$n$$R \ll n$$A$$k$-sparse $x$ с $R$ как малые , как $O(k n^{o(1)})$ . У меня могут быть не самые известные параметры, но это общая идея.

Мой вопрос: есть ли подобные явления в других условиях? Я имею в виду, что входной сигнал может происходить из некоторого «семейства низкой сложности» в соответствии с мерой сложности, которая не обязательно является разреженной. Затем мы хотим алгоритмы сжатия и распаковки, а не обязательно линейные карты, которые являются эффективными и правильными. Известны ли такие результаты в другом контексте? Что вы думаете о более «общей» теории сжатого зондирования?

(Конечно, в приложениях сжатого восприятия важны линейность и разреженность. Вопрос, который я здесь задаю, более "философский".)

Ваш вопрос решает проблему «точного» восстановления (мы хотим восстановить k-разреженный $x$ точно с заданным $Ax$ ). Далее я остановлюсь на «надежной» версии, где $x$ - произвольный вектор, а цель алгоритма восстановления - найти $k$ разреженное приближение $x'$ к $x$ (это различие действительно имеет значение для некоторых обсуждений ниже ). Формально вы хотите следующую проблему (назовите ее $P_1$ ):

Конструкция $A$ такая, что для любого $x$ можно восстановить $x'$ где $\|x-x'\|_L \le$

x " $\min_{x"} C \|x-x"\|_R$ , где охватывает все разреженные векторы.$x"$$k$

Здесь и обозначает левую и правую нормы, а - «коэффициент приближения». Существуют различные варианты и . Для конкретности можно подумать, что оба равны или ; это может стать более грязным, хотя. ‖ ⋅ ‖ R C ‖ ⋅ ‖ L ‖ ⋅ ‖ R ℓ 2 ℓ $\| \cdot \|_L$$\| \cdot \|_R$$C$$\| \cdot \|_L$$\| \cdot \|_R$$\ell_2$$\ell_1$

Теперь о некоторых аналогах и обобщениях.

Произвольная основа. Во-первых, обратите внимание, что любая схема, удовлетворяющая приведенному выше определению, может быть использована для решения более общей проблемы, когда восстановленный сигнал является разреженным в произвольной основе (скажем, вейвлет Фурье), а не только стандартной. Пусть будет базисной матрицей. Формально вектор является разреженным в базисе если где является разреженным. Теперь мы можем рассмотреть обобщенную проблему (назовите ее ): B u k B u = B v v k P $x'$$B$$u$$k$$B$$u=Bv$$v$$k$$P_B$

Дизайн такой, что с учетом можно восстановить гдеA B x x ′ ‖ x - x ′ ‖ L$A_B$$A_B x$$x'$$\|x-x'\|_L \le$

x " k $\min_{x"} C \|x-x"\|_R$ , где пробегает все векторы, которые -sparse в .$x"$$k$$B$

Можно свести эту проблему к более ранней проблеме , изменив базис, т. матрицу измерений . Если у нас есть решение для в норме (т. Левая и правая нормы равны ), мы также получим решение для в норме . Если использует другие нормы, мы решаем в тех нормах, которые изменены путем изменения базы.A B = A B - 1 P 1 ℓ 2 ℓ 2 P B ℓ 2 P 1 P $P_1$$A_B = A B^{-1}$$P_1$$\ell_2$$\ell_2$$P_B$$\ell_2$$P_1$$P_B$

Единственное предостережение в том, что в приведенном выше подходе нам нужно знать матрицу , чтобы определить . Возможно , что удивительно, если допустить рандомизацию ( не является фиксированным , но вместо этого выбирается случайным образом ), можно выбрать из фиксированного распределения , которая не зависит от . Это так называемое свойство универсальности .$B$$A_B$$A_B$$A_B$$B$

Словари. Следующее обобщение можно получить, отбросив требование, что является основой. Вместо этого мы можем позволить иметь больше строк, чем столбцов. Такие матрицы называются (переполненными) словарями. Одним популярным примером является единичная матрица поверх матрицы Фурье. Другим примером является матрица, в которой строки являются характеристическими векторами всех интервалов в {1 ... n}; в этом случае множество { } содержит все гистограммы, то есть кусочно-постоянные функции над {1 ... n}, содержащие не более штук.B B u : u k-разреженный k $B$$B$$Bu: \mbox{u is k-sparse}$$k$$k$

Насколько я знаю, не существует общей теории для таких произвольных словарей, хотя над этой темой было проделано немало работы. См., Например, Candes-Eldar-Needell'10 или Donoho-Elad-Temlyakov , IEEE транзакции по теории информации, 2004 .

Эскиз для гистограмм широко исследовался в литературе по потоковой передаче и базам данных, например, Gilbert-Guha-Indyk-Kotidis-Muthukrishnan-Strauss, STOC 2002 или Thaper-Guha-Indyk-Koudas, SIGMOD 2002 .

Модели. (также упоминается Арнаб). Другое обобщение состоит в том, чтобы ввести ограничения на шаблоны разреженности. Пусть подмножество -подмножеств {1 ... n}. Мы говорим , что есть -sparse , если носитель и входит в элемент . Теперь мы можем поставить проблему (назовите это ):k u M u M P $M$$k$$u$$M$$u$$M$$P_M$

Конструкция такая, что для любого можно восстановить гдеx x ′ ‖ x - x ′ ‖ L$A$$x$$x'$$\|x-x'\|_L \le$

x " $\min_{x"} C \|x-x"\|_R$ , где охватывает все разреженные векторы.$x"$$M$

Например, элементы могут иметь форму , где каждый соответствует одному « » из {1 ... n} некоторой длины , то есть имеет форма {jb + 1 ... (j + 1) b} для некоторого . Это так называемая модель "разреженности блоков". I 1 ∪ … ∪ I k I i b I i$M$$I_1 \cup \ldots \cup I_k$$I_i$$b$$I_i$$j$

Преимущество моделей заключается в том, что можно сэкономить на количестве измерений по сравнению с общим подходом sparsity. Это связано с тем, что пространство разреженных сигналов меньше пространства всех разреженных сигналов, поэтому матрица должна сохранять меньше информации. Более подробно см Baraniuk-Cevher-Дуарте-Хедж, IEEE Transactions по теории информации, 2010 или Eldar-Mishali, IEEE Transactions по теории информации 2009 года .M k $k$$M$$k$$A$

Надеюсь это поможет.

Существует обобщение сжатого восприятия на некоммутативную установку, называемую заполнением матрицы . В точной настройке вам дается неизвестная матрица M, которая, как известно, вместо разреженности имеет низкий ранг r ≪ m , n . Ваша цель состоит в том, чтобы реконструировать R сингулярных чисел и сингулярных векторов этой матрицы путем выборки только ~ О ( г м + т п ) коэффициенты матрицы, а не O ( т п ) по мере необходимости , в худшем случае. $m \times n$$M$$r \ll m,n$$r$$\tilde{O}(rm+rn)$$O(mn)$

Если сингулярные векторы достаточно «некогерентны» (грубо, не слишком хорошо выровнены) с базисом, из которого вы выбираете матричные элементы, то вы можете с большой вероятностью добиться успеха, решив выпуклую программу, аналогично стандартному сжатому восприятию. В этом случае вы должны минимизировать 1-норму Шаттена, то есть сумму сингулярных значений.

Эта проблема также имеет множество применений, например, для предоставления рекомендаций по книгам покупателю интернет-магазина книг, зная только те оценки, которые сгенерировали другие покупатели. В этом контексте строки и столбцы помечены книгами и покупателями соответственно. Несколько видимых элементов матрицы - это оценки покупателей книг, которые они ранее купили. Ожидается, что матрица М будет низкого ранга, потому что мы считаем, что, как правило, только несколько основных факторов влияют на наши предпочтения. Заполнив М , продавец может сделать точные прогнозы о том, какие книги вы, вероятно, захотите.$M$$M$$M$

Хорошее начало - статья Кэндеса и Рехта « Точное заполнение матриц с помощью выпуклой оптимизации» . Существует также действительно классное обобщение, в котором вам разрешено производить выборку в произвольной основе для матричного пространства. В этой статье Дэвида Гросса « Восстановление матриц низкого ранга из нескольких коэффициентов в любом базисе» это обобщение существенно упрощает доказательства завершения матрицы, а для некоторых базисов вы также можете удалить предположение о некогерентности. Эта статья также содержит лучшие на сегодняшний день оценки сложности выборки. Может показаться странным, что выборка производится произвольно, но на самом деле это вполне естественно в условиях квантовой механики, см., Например, эту статью « Квантовая томография состояния с помощью сжатого зондирования» .

Существует сжатое зондирование на основе многообразия, в котором условие разреженности заменяется условием, что данные лежат в низкоразмерном подмногообразии естественного пространства сигналов. Обратите внимание, что разреженность может быть выражена как лежащая на определенном многообразии (фактически, секущем разнообразии).

См., Например, этот документ и ссылки во введении. (По общему признанию, я не знаю, является ли этот документ представительным для области - я более знаком с связанной темой классификаторов на основе многообразия а-ля Niyogi-Smale-Weinberger .)

Я полагаю, что на уровне общности, на котором я поставил вопрос, статья «Сжатие источников выборки» Тревизана, Вадхана и Цукермана (2004) также квалифицируется как один из возможных ответов. Они показывают, что во многих случаях, если источник входных строк имеет низкую сложность (например, с возможностью выборки на машинах пространства журналов), тогда можно сжимать и распаковывать за полиномиальное время для удаления аддитивной постоянной от энтропии источника.

Я действительно не знаю, может ли сжатое восприятие быть включено в какую-то большую теорию сжатия.

Одним из аналогов сжимающего зондирования является машинное обучение, когда вы пытаетесь оценить большой размерный вектор (например, в классификации / регрессии) по очень малому размеру выборки. Чтобы иметь дело с недоопределенными системами линейных уравнений в таких условиях, обычно необходимо применять разреженность (через штраф l0 или l1) к изучаемому вектору весов. Чтобы увидеть связь, рассмотрим следующую проблему классификации / регрессии из машинного обучения:

Представить N примеров D измерений каждый (D >> N) в виде матрицы XxD X. Представить N ответов (по одному для каждого примера) в виде вектора Y Nx1. Цель состоит в том, чтобы решить для тета вектора Dx1 с помощью следующего уравнения : Y = X * тета

Теперь вот аналогия этой проблемы с компрессионным зондированием (CS): вы хотите оценить / измерить тета, который является D-мерным вектором (сродни неизвестному «сигналу» в CS). Чтобы оценить это, вы используете матрицу X (аналогичную матрице проектирования в CS) и N 1-D измерений Y (аналогично сжатому сигналу в CS, поскольку D >> N).

Смотрите: http://www.damtp.cam.ac.uk/user/na/people/Anders/Inf_CS43.pdf