Сомнительное использование принципов обработки сигналов для определения тенденции

Я предлагаю попытаться найти тенденцию в некоторых очень шумных долгосрочных данных. Данные в основном представляют собой еженедельные измерения чего-то, что переместилось на 5 мм за период около 8 месяцев. Данные с точностью до 1 мм и очень шумные, регулярно меняются +/- 1 или 2 мм в неделю. У нас есть только данные до ближайшего мм.

Мы планируем использовать некоторую базовую обработку сигналов с быстрым преобразованием Фурье, чтобы отделить шум от необработанных данных. Основное предположение состоит в том, что если мы зеркально отобразим наш набор данных и добавим его в конец существующего набора данных, мы сможем создать полную длину волны данных, и поэтому наши данные будут отображаться в быстром преобразовании Фурье, и мы надеемся, что затем отделим их ,

Учитывая, что это звучит немного сомнительно для меня, стоит ли этот метод очищать или метод зеркального отображения и добавления нашего набора данных каким-то принципиально ошибочным? Мы рассматриваем и другие подходы, такие как использование фильтра низких частот.

Для меня это выглядит странно, так как оценка тренда будет смещена около точки, где вы склеиваете ложные данные. Альтернативный подход - сглаживание непараметрической регрессии, такое как лёсс или сплайны.

Если вы хотите отфильтровать долгосрочный тренд с помощью обработки сигналов, почему бы не использовать низкочастотный диапазон?

Самая простая вещь, о которой я могу подумать, это экспоненциальная скользящая средняя.

Я думаю, что вы можете получить некоторые искажения в точке вставки, поскольку не все нижележащие волны будут соединяться очень хорошо.

Я бы предложил использовать для этого преобразование Гильберта Хуанга. Просто выполните разбиение на функции встроенного режима и посмотрите, что осталось при расчете.

Вы можете использовать (быстрое :)) дискретное вейвлет-преобразование . Пакет wavethresh под R сделает всю работу. Во всяком случае, мне нравится решение @James, потому что оно простое и, кажется, идет прямо к делу.

Большую часть времени, когда я слышу «долгосрочные тренды», я думаю о долгосрочных восходящих или долгосрочных нисходящих тенденциях, ни один из которых должным образом не отражается преобразованием Фурье. Такие односторонние тенденции лучше анализировать с помощью линейной регрессии . (Преобразования Фурье и периодограммы больше подходят для вещей, которые идут вверх и вниз).

Линейная регрессия легко сделать в большинстве электронных таблиц. (а) Показать уравнения для линий регрессии (б) Создание XY-диаграмм рассеяния с помощью электронных таблиц

Линейная регрессия пытается аппроксимировать ваши данные прямой линией. Преобразования Фурье пытаются аппроксимировать ваши данные с помощью нескольких синусоид, сложенных вместе. Существуют другие методы («нелинейная регрессия»), которые пытаются приблизить ваши данные к полиномам или другим формам.

Преобразование Фурье предполагает стационарность сигнала в широком смысле и линейную временную инвариантность (LTI). Несмотря на то, что оно устойчиво к некоторым нарушениям этих условий, я не думаю, что оно подходит для анализа тенденций из-за предположения о стационарности, то есть вы пытаетесь измерить что-то, что нарушает одно из основных допущений БПФ.

Я бы согласился с постерами выше; зеркальное отражение ваших данных и добавление зеркальных данных в конец вашего временного ряда является хитрым. Я хотел бы предположить, что согласование модели линейной регрессии с временной тенденцией, как упомянуто выше, вероятно, более уместно

Если вы хотите изучить периодичность, вы можете удалить тренд с помощью фильтрации верхних частот и анализа Фурье. Если тренд остается видимым после фильтрации, вы можете вычесть подогнанную линию линейной регрессии из исходного сигнала до FFT.