Вот простой игрушечный пример, иллюстрирующий влияние измерения в проблеме дискриминации, например, проблема, с которой вы сталкиваетесь, когда хотите сказать, наблюдается ли что-то или наблюдается только случайный эффект (эта проблема классическая в науке).
Эвристический. Ключевой вопрос здесь заключается в том, что евклидова норма придает одинаковое значение любому направлению. Это означает отсутствие предварительного, и, как вы наверняка знаете, в высоком измерении нет бесплатного обеда (то есть, если у вас нет предварительного представления о том, что вы ищете, то нет причины, по которой какой-то шум не будет выглядеть так, как вы есть). ищу, это тавтология ...).
Я бы сказал, что для любой проблемы есть предел информации, который необходим, чтобы найти что-то еще, кроме шума. Этот предел как-то связан с «размером» области, которую вы пытаетесь исследовать, с точки зрения уровня «шума» (т. Е. Уровня неинформативного контента).
В высоком измерении, если у вас есть предварительное условие, что ваш сигнал является разреженным, то вы можете удалить (т.е. оштрафовать) не разреженный вектор с помощью метрики, которая заполняет пространство разреженным вектором, или с помощью метода пороговой обработки.
Каркас Предположим, что является гауссовским вектором со средним и диагональной ковариацией ( известен) и что вы хотите проверить простую гипотезуν σ I d σξνσIdσ
θ ∈ R n θ
H0:ν=0,VsHθ:ν=θ
(для данного ) не обязательно известно заранее.
θ∈Rnθ
Проверьте статистику с энергией . Интуиция, которая у вас, безусловно, есть, - это хорошая идея оценить норму / энергию ваших наблюдений для построения тестовой статистики. На самом деле вы можете построить стандартизированную центрированную (под ) версию энергии . Это делает критическую область на уровне в форме для хорошо выбранного ξH0TnTn=∑iξ 2 i -σ2En=1n∑ni=1ξ2iξH0Tn α{Tn≥v1-α}v1-αTn=∑iξ2i−σ22nσ4√α{Tn≥v1−α}v1−α
Мощность теста и размерность. В этом случае это простое вероятностное упражнение - показать следующую формулу для силы вашего теста:
Pθ(T≤v1−α)=P⎛⎝⎜Z≤v1−α1+2∥θ∥22/(nσ2)−−−−−−−−−−−−−√−∥θ∥222nσ4+2σ2∥θ∥22/(nσ2)−−−−−−−−−−−−−−−−−−√⎞⎠⎟
с суммой iid случайных величин с и .ZnE[Z]=0Var(Z)=1
Это означает, что мощность вашего теста увеличивается на энергию вашего сигнала и уменьшается на . На практике это означает, что когда вы увеличиваете размер вашей проблемы, если она не увеличивает мощность сигнала одновременно, вы добавляете неинформативную информацию в свое наблюдение (или вы уменьшаете долю полезной информации в информации. у вас есть): это похоже на добавление шума и снижает мощность теста (т. е. более вероятно, что вы скажете, что ничего не наблюдается, хотя на самом деле что-то есть).∥θ∥22nn
К тесту с пороговой статистикой. Если в вашем сигнале недостаточно энергии, но если вы знаете линейное преобразование, которое может помочь вам сконцентрировать эту энергию в небольшой части вашего сигнала, то вы можете построить тестовую статистику, которая будет оценивать энергию только для малого часть вашего сигнала. Если вы заранее знаете, где он сконцентрирован (например, вы знаете, что в вашем сигнале не может быть высоких частот), вы можете получить мощность в предыдущем тесте, если заменить на небольшое число, а почти то же самое ... Если вы не знаете это заранее, вы должны оценить это, это приводит к хорошо известным тестам порогового значения.n∥θ∥22
Обратите внимание, что этот аргумент лежит в основе многих статей, таких как
- А. Антониадис, Ф. Абрамович, Т. Сапатинас и Б. Видакович. Вейвлет-методы для тестирования в функциональном анализе дисперсионных моделей. Международный журнал по вейвлетам и его приложениям, 93: 1007–1021, 2004.
- М.В. Бурнашеф и Бегматов. О проблеме обнаружения сигнала, приводящей к устойчивому распределению. Теория вероятностей и ее приложения, 35 (3): 556–560, 1990.
- Ю. Баро. Не асимптотическая минимаксная скорость тестирования при обнаружении сигнала. Бернулли, 8: 577–606, 2002.
- J Fan. Тест значимости на основе вейвлет-порога и усечения Неймана. JASA, 91: 674–688, 1996.
- Дж. Фан и С.К. Лин. Проверка значимости, когда данные являются кривыми. JASA, 93: 1007–1021, 1998.
- В. Спокойный. Адаптивная проверка гипотез с использованием вейвлетов. Летопись статистики, 24 (6): 2477–2498, декабрь 1996.