Можно ли использовать тест Колмогорова-Смирнова и оценить параметры распределения?

Я читал, что критерий Колмогорова-Смирнова не должен использоваться для проверки правильности соответствия распределения, параметры которого были оценены по выборке.

Имеет ли смысл разделить мою выборку на две части и использовать первую половину для оценки параметров, а вторую - для теста KS?

заранее спасибо

estimation fitting kolmogorov-smirnov

— sortega
источник

Какой дистрибутив вы хотите проверить и почему?

— gung - Восстановить Монику

Я подозреваю, что данные следуют экспоненциальному распределению.

— Сортега

Ответы:

Лучший подход состоит в том, чтобы вычислить критическое значение р-значения с помощью моделирования. Проблема заключается в том, что когда вы оцениваете параметры из данных, а не используете гипотетические значения, тогда распределение статистики KS не следует нулевому распределению.

Вместо этого вы можете игнорировать p-значения из теста KS и вместо этого смоделировать группу наборов данных из распределения кандидатов (с осмысленным набором параметров) того же размера, что и ваши реальные данные. Затем для каждого набора оцените параметры и выполните тест KS, используя оценочные параметры. Ваше значение p будет пропорцией статистики теста из смоделированных наборов, которые являются более экстремальными, чем для ваших исходных данных.

— Грег Сноу
источник

Я нахожу решение немного запутанным (по крайней мере, для меня); что вы подразумеваете под "значимым набором параметров" для распределения кандидатов? Изначально вы не знаете параметров распределения кандидатов, как узнать, что такое «значимый набор параметров»?

— Нестор

Вы можете попробовать разные наборы параметров, чтобы увидеть, если это имеет значение или нет (для нормального это не так, но некоторые распределения могут). Затем подумайте о науке, лежащей в основе ваших данных, или поговорите с экспертом в этой области, вы сможете получить общее представление о том, с чего начать, например, я знаю, каков средний рост взрослых мужчин в Нигерии, но я почти уверен, что он положительный и менее 3 метров.

— Грег Сноу

@GregSnow Я наткнулся на этот пост, поскольку он имеет отношение к моей текущей работе. Мне было интересно, есть ли теоретическое обоснование предложенного вами метода? То есть как мы узнаем, что предложенное «p-значение» действительно равномерно распределено от 0 до 1? Предполагаемое значение p, по-видимому, не является общепринятым значением p, поскольку теперь гипотеза Null представляет собой набор распределений

— renrenthehamster

@renrenthehamster, у вас есть хорошая точка зрения, поэтому я предложил симуляцию в разных условиях. Для некоторых распределений (я бы ожидал нормального) это не будет иметь большого значения, но для других могут потребоваться разные отсечки для разных значений истинных параметров. Если это так, то пользователю (вам) нужно найти значимый нуль для проверки, который включает как форму распределения, так и набор или диапазон параметров, которые вам удобны.

— Грег Сноу

@LilyLong, моделирование раньше было намного сложнее и занимало много времени, поэтому тесты были разработаны, чтобы быть быстрее / проще, чем моделирование, некоторые из ранних таблиц были созданы путем моделирования. Многие тесты теперь можно легко заменить симуляцией, но, вероятно, они будут с нами еще дольше из-за традиций и простоты.

— Грег Сноу,

Разделение выборки может уменьшить проблему с распределением статистики, но не устранит ее.

Ваша идея позволяет избежать проблемы, заключающейся в том, что оценки будут «слишком близки» относительно значений совокупности, поскольку они основаны на одной и той же выборке.

Вы не избегаете проблемы, которую они все еще оценивают. Распределение тестовой статистики не является табличным.

В этом случае это увеличивает уровень отклонения под нулем, вместо того, чтобы резко уменьшить его.

Лучше выбрать тест, в котором параметры неизвестны, например, Shapiro Wilk.

Если вы знакомы с тестом Колмогорова-Смирнова, вы можете воспользоваться тестом Лиллифорса.

То есть использовать статистику KS, но иметь распределение тестовой статистики, отражать эффект оценки параметров - моделировать распределение тестовой статистики при оценке параметров. (Это больше не распространяется бесплатно, поэтому вам нужны новые таблицы для каждого распределения.)

http://en.wikipedia.org/wiki/Lilliefors_test

Лилифорс использовал симуляцию для нормального и экспоненциального случая, но вы можете легко сделать это для любого конкретного распределения; в чем-то вроде R это вопрос моментов, чтобы смоделировать 10 000 или 100 000 выборок и получить распределение тестовой статистики под нулевым значением.

[Альтернативой может быть рассмотрение Андерсона-Дарлинга, у которого действительно есть та же проблема, но которая - судя по книге Д'Агостино и Стивенса ( Методы совершенства соответствия ), кажется, менее чувствительна к этому. Вы могли бы адаптировать идею Лиллифорса, но они предлагают относительно простую настройку, которая, кажется, работает довольно хорошо.]

Но есть и другие подходы; например, существуют семейства гладких тестов на пригодность (например, см. книгу Рэйнера и Беста), которые в ряде конкретных случаев могут иметь дело с оценкой параметров.

* эффект все еще может быть довольно большим - возможно, больше, чем обычно считается приемлемым; Момо правильно выразить беспокойство по этому поводу. Если более высокая частота ошибок типа I (и более плоская кривая мощности) является проблемой, то это не может быть улучшением!

— Glen_b - Восстановить Монику
источник

Не могли бы вы объяснить, как «разделение выборки решило бы проблему с распределением статистики»? На мой взгляд, параметры будут оцениваться из подвыборки, а затем подключаться для теста KS второй подвыборки, но параметры все равно будут связаны с ошибкой выборки, которая не учитывается в нулевом распределении. Для меня это звучит так, как если бы можно было с подобной идеей отделить выборку от нормального распределения, оценить стандартные отклонения в одной подвыборке и провести среднее сравнение со стандартным нормальным значением, а не t-dist во второй подвыборке.

— Момо

@ Момо "решить" слишком сильно; «уменьшить» лучше. Если параметры оцениваются из тех же наблюдений, которые вы тестируете, то - если вы не учтете этот эффект - отклонения выборки от распределения будут «слишком малыми» - коэффициент отклонения будет снижаться . Использование другого образца устраняет этот эффект. Значения параметров, полученные в результате оценки из второй выборки, все еще страдают от ошибки выборки. Это окажет некоторое влияние на тест (увеличит частоту появления ошибок типа I), но не будет иметь драматического эффекта смещения, который делает использование одних и тех же данных для обоих.

— Glen_b

@Momo Я отредактировал свой комментарий, чтобы удалить слово «решить» и заменить его некоторым объяснением

— Glen_b

Боюсь, это не решит проблему. Я полагаю, что проблема не в том, что параметры оцениваются из того же образца, а из любого образца вообще. Вывод обычного нулевого распределения теста KS не учитывает какую-либо ошибку оценки в параметрах эталонного распределения, а скорее рассматривает их как данные. См. Также Durbin 1973, который подробно обсуждает эту проблему и предлагает решения.

— Момо
источник

Это на самом деле две отдельные проблемы. Если вы используете одни и те же данные для оценки параметров и проведения KS-теста, вы, как правило, увидите завышенные p-значения, потому что вы по существу адаптируете распределение к данным перед их проверкой. Однако, если вы используете два независимых набора сэмплов, это не так. Однако неточные оценки параметров могут уменьшить p-значения, которые вы получаете в этом случае, потому что теперь вы по существу проверяете (слегка) неправильное распределение.

— FGP