Проверка на статистически значимый пик


14

У меня есть набор данных, и . Я хотел бы проверить следующую гипотезу: есть пик ; то есть, когда увеличивается, сначала увеличивается, а затем уменьшается.Yxyxy

Моей первой идеей было подгонка и в зеркалке. То есть, если я обнаружу, что коэффициент до существенно положительный, а коэффициент до значительно отрицательный, я получу поддержку гипотезы. Однако это проверяет только один тип отношений (квадратичный) и может не обязательно отражать существование пика.xx2xx2

Затем я подумал о том, чтобы найти , такую ​​область (отсортированных значений) , что находится между и , две другие области которые содержат как минимум столько же точек, что и , и что и значительно. Если гипотеза верна, мы должны ожидать много таких областей . Таким образом, если число b достаточно велико, гипотеза должна быть подтверждена.bxbacxbyb¯>ya¯yb¯>yc¯bb

Как вы думаете, я на правильном пути, чтобы найти подходящий тест для моей гипотезы? Или я изобрел колесо, и существует установленный метод для этой проблемы? Я буду очень признателен за ваш вклад.

ОБНОВИТЬ. Моя зависимая переменная это количество (неотрицательное целое число).y


Есть ли плавно меняться в зависимости от ? Если это так, вы можете попробовать подобрать модель, включающую сглаживатель (скажем, GAM), а затем вычислить первые производные от сглаженного сглаживания и их доверительный интервал. Если производная значимо увеличивается, то, если она уменьшается, у вас есть ответ. хyx
Восстановить Монику - Дж. Симпсон

Ответы:


6

Я тоже думал о сглаживающей идее. Но есть целая область, называемая методологией поверхности отклика, которая ищет пики в зашумленных данных (в первую очередь это касается использования локальных квадратичных подгонок к данным), и была известная статья, которую я помню с «Охотой на удар» в названии. Вот несколько ссылок на книги по методологии поверхности отклика. Книги Рэя Майера особенно хорошо написаны. Я попытаюсь найти бумагу для охоты на кочек.

Методология поверхности отклика: оптимизация процесса и продукта с использованием разработанных экспериментов

Методология поверхности отклика и смежные вопросы

Методология поверхности отклика

Эмпирическое моделирование и ответные поверхности

Хотя это не та статья, которую я искал, вот очень актуальная статья Джерри Фридмана и Ника Фишера, в которой рассматриваются эти идеи, применяемые к многомерным данным.

Вот статья с некоторыми онлайн-комментариями.

Надеюсь, вы по крайней мере оцените мой ответ. Я думаю, что ваши идеи хороши и находятся на правильном пути, но да, я действительно думаю, что вы, возможно, изобретаете колесо, и я надеюсь, что вы и другие посмотрите на эти прекрасные рекомендации.


3
Я не был среди downvoters, но ответы на сайтах SE, как ожидается, будет больше, чем ссылка на контент. Обобщение контента или предоставление краткого ответа с последующими ссылками на контент для получения более подробной информации было бы лучше.
Восстановить Монику - Дж. Симпсон

2
Я голосую за это, потому что (1) это хорошая идея; (2) у него есть некоторые комментарии; и (3) он поддерживается некоторыми тщательно отобранными ссылками, в том числе на свободно доступный материал. Да, это выглядит типично плохо, потому что ссылки могут быть более красиво отформатированы: но я надеюсь, что люди не принимают во внимание этот аспект ответов в своих решениях при голосовании!
whuber

1
@whuber Я согласен после того, как смог прочитать его из-за хорошего форматирования Procastinator. +1 тоже. Я думаю, что здесь достаточно резюме, и некоторые темы почти слишком сложны для чего-то большего, чем фундаментальная идея и ссылка для дальнейшего чтения.
Эрик

5
@MichaelChernick Обратите внимание , что не была критика со мной, просто предлагая причину , почему люди могли бы вниз проголосовали. Я не согласился бы с ними, если бы это было причиной, потому что я думаю, что ваш ответ точен, особенно с PRIM; Я только что проконсультировался со своей Hastie и соавторами (2009) относительно того, что говорится в PRIM. Возможно, вы захотите добавить эту ссылку к ответу, так как там есть два раздела о PRIM и PDF-файл доступен бесплатно.
Восстановить Монику - Дж. Симпсон

1
@Nikita Какую формальную статистическую гипотезу вы хотите проверить? Сначала вы должны найти пики, которые являются большой частью этого. Вы проверяете, что пик - это не просто шум? Я не уверен, какая литература существует для решения этой проблемы, но я думаю, что вы могли бы подогнать полиномиальную регрессию к данным (возможно, квадратичную локально). Исходя из этого, вы получите оценку остаточной дисперсии. Статистическая значимость квадратичного члена будет проверкой значимости пика.
Майкл Р. Черник

1

Даже если вы не ответили на мой вопрос, если мое предположение верно, вы ищете тест белого шума, который в частотной области показывает, что спектр плоский. Таким образом, можно использовать тест периодограммы Фишера, который в этой ссылке называется каппа Фишера. Смотрите ссылку.

http://www4.stat.ncsu.edu/~dickey/Spain/pdf_Notes/Spectral2.pdf

Тест Бартлетта также упоминается в ссылке. Теперь отвергнуть нулевую гипотезу - значит найти значительный пик на периодограмме. Это будет означать, что периодический компонент существует во временном ряду.

Поскольку тест находится в частотной области и включает ординаты периодограммы, ордината имеет распределение хи-квадрат 2 при нулевой гипотезе и является независимой. Это специальное распределение происходит только из-за преобразования в частотную область. Если бы x было временем, это не сработало бы во временной области или в общем случае распределение ys не было бы независимым хи-квадрат.

м


Y

Итак, у есть данные счета и что такое непрерывная пояснительная переменная? Мои предыдущие предложения, вероятно, не в этом случае, но есть много недавней литературы по моделям подсчета. Так что, если вы можете быть немного более конкретным в отношении данных и проблемы, может быть, я могу указать на решение.
Майкл Р. Черник

YИкс

Я не уверен, поможет ли это или нет, но Кэмерон и Триведи опубликовали книгу о моделях регрессии счета и выпустили второе издание в 2013 году. Вот ссылка с некоторой информацией: cameron.econ.ucdavis.edu/racd/count .html
Майкл Р. Черник
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.