Проверка значимости пиков в спектральной плотности

Иногда мы используем график спектральной плотности для анализа периодичности во временных рядах. Обычно мы анализируем сюжет путем визуального осмотра, а затем пытаемся сделать вывод о периодичности. Но разработали ли статистики какие-либо тесты для проверки того, являются ли какие-либо пики на графике статистически отличными от белого шума? Разработали ли R-специалисты какой-либо пакет для анализа спектральной плотности и проведения такого рода испытаний? Отлично, если кто-то может помочь.

С уважением,
П.

r time-series hypothesis-testing

— Pantera
источник

Под давлением @Wesley я удалил свои быстрые мысли об автокорреляционных функциях и периодограмме (возможно, он действительно является гуру анализа частотной области, но лично я не думаю, что Бартлетт, работая с автокорреляциями во временной области), но все же думаю, что мой Второе предложение о bootspecdensможет быть полезным.

— Дмитрий Челов

Я основываю свое предположение о реакции людей на «что такое автокорреляция?» в литературных источниках, где почти во всех случаях, когда используется автокорреляция, используется стандартная автокорреляция Барлетта, вычисленная во временной области. И, к сожалению, это плохо! :) Я ценю предложение bootspecdensДмитрия; с нетерпением жду, чтобы проверить это.

— Уэсли Берр

Вы должны знать, что оценка спектров мощности с использованием периодограммы не рекомендуется, и фактически это была плохая практика с ~ 1896 года. Это противоречивая оценка для чего-либо меньшего, чем миллионы выборок данных (и даже тогда ...), и в целом предвзятым. То же самое относится и к использованию стандартных оценок автокорреляций (т. Е. Бартлетта), поскольку они являются парами преобразования Фурье. При условии, что вы используете непротиворечивую оценку, вам доступны некоторые опции.

Лучшим из них является многоэкранное (или конусное) оценивание спектров мощности. В этом случае, используя коэффициенты каждого окна на интересующей частоте, вы можете вычислить F-гармоническую статистику по нулевой гипотезе белого шума. Это отличный инструмент для обнаружения линейных компонентов в шуме, и он настоятельно рекомендуется. Это выбор по умолчанию в сообществе обработки сигналов для обнаружения периодичностей в шуме в предположении стационарности.

Вы можете получить доступ как к многоступенчатому методу оценки спектра, так и к соответствующему F-тесту через multitaperпакет в R (доступный через CRAN). Документации, поставляемой с пакетом, должно быть достаточно для начала работы; F-тест - это простая опция в вызове функции для spec.mtm.

Первоначальная ссылка, которая определяет оба эти метода и дает алгоритмы для них, это « Оценка спектра и гармонический анализ» , DJ Thomson, Proceedings of IEEE, vol. 70, стр. 1055-1096, 1982.

Вот пример использования включенного набора данных с multitaper пакет.

require(multitaper);
data(willamette);
resSpec <- spec.mtm(willamette, k=10, nw=5.0, nFFT = "default",
                    centreWithSlepians = TRUE, Ftest = TRUE,
                    jackknife = FALSE, maxAdaptiveIterations = 100,
                    plot = TRUE, na.action = na.fail)

Параметры, о которых вы должны знать: k и nw : это количество окон (выше 10) и произведение ширины полосы пропускания (выше 5.0). Вы можете легко оставить их в этих значениях квази-значения по умолчанию для большинства приложений. Команда centreWithSlepians удаляет надежную оценку среднего временного ряда с использованием проекции на окна Слепия - это также рекомендуется, так как оставление среднего в производит много энергии на низких частотах.

Я бы также порекомендовал нанести график спектрального вывода из «spec.mtm» на логарифмическую шкалу, так как это значительно проясняет ситуацию. Если вам нужна дополнительная информация, просто напишите, и я рад предоставить ее.

— Уэсли Берр
источник

Burr, Silva и Celov - большое спасибо за ваши интересные ответы и предложения. Я с нетерпением жду, чтобы проверить эти оценки. С наилучшими пожеланиями

— Pantera

(+1) этой ночью я тщательно обдумал ваши предложения и решил, что временная область действительно является последней вещью (из-за задержки усечения и слабых свойств в небольших выборках), чтобы попытаться найти циклическое поведение. Что меня лично беспокоит, так это предположения для F-статистики и свойства небольшого размера выборки предлагаемой схемы. Ну и, наверное, неплохо бы начать отдельный вопрос относительно оптимального выбора окна, потому что их действительно много.

— Дмитрий Челов

Есть действительно много вариантов выбора окна, хотя два наиболее распространенных - это дискретные пролиферативные сфероидальные последовательности (или спики ) и синусоиды. Если вы ищете максимальную концентрацию энергии в локальной полосе пропускания, было доказано, что Слепианы оптимальны, и фактически являются выходом из формы спектральной плотности в виде интегрального уравнения (подробности см. В статье, которую я упомянул). Что касается статистики F, конечно, есть некоторые проблемы со степенями свободы, но в целом они работают довольно хорошо, с ~ 2k-2 степенью свободы.

— Уэсли Берр

Сглаженная периодограмма также использует конусность, допускает БПФ, книга Дэвида Стоффера также научит вас рассчитывать доверительные интервалы. Этот multitaperпакет, кажется, использовал более продвинутые методы для сужения и вычисления доверительного интервала. Но я думаю, что идея была та же самая, по словам Дэвида Стоффера. Это единственное, что я могу подумать о том, что преподавание ванильного перидогорама на самом деле все еще имеет смысл сегодня.

— штукатурка

Итак, вы один из авторов этого пакета, и вы использовали несколько очень сильных слов против периодограммы. Я надеюсь, что однажды вы вернетесь с большим количеством доказательств. Общие плюсы и минусы для периодограммы хорошо известны, например, ее взрывная дисперсия, поэтому она не является хорошей последовательной оценкой спектра, но сглаженная периодограмма на самом деле не так уж плоха, не так плохо, как вы заявили здесь, я думаю.

— штукатурка

Недавно мы попытались решить эту проблему с помощью вейвлет-преобразования спектрального теста в этой статье . По сути, вам необходимо рассмотреть распределение ординат периодограммы, аналогично статье Фишера, упомянутой в предыдущих ответах. Еще одна статья из Коен является это . Недавно мы опубликовали R-пакет hwwntest .

— Делян Савчев
источник

Савчев, большое спасибо за ваш комментарий и ссылки. Я с нетерпением жду тестирования вашего R-пакета.

— Pantera

$f(\omega_k)$ значительно выше , чем среднее значение всех сигналов.

Вы можете получить более подробную информацию о тесте в MB Priestley, Спектральный анализ и Временные ряды , Academic Press, Лондон, 1981, стр. 406.

В R пакет GeneCycle содержит функцию fisher.g.test():

library(GeneCycle)
?fisher.g.test

Надеюсь это поможет.

— Вашингтон С. Сильва
источник

это замечательно, но g-тест пакета основан на собственной функции периодограммы, которая имеет очень ограниченные возможности для расчета спектров мощности ...

— stucash