Во что верить: тест Колмогорова-Смирнова или сюжет QQ?

Я пытаюсь определить, соответствует ли мой набор данных непрерывных данных гамма-распределению с параметрами shape 1.7 и rate = 0.000063.$=$$=$

Проблема в том, когда я использую R для создания графика QQ моего набора данных отношению к теоретической гамме распределения (1,7, 0,000063), я получаю график, который показывает, что эмпирические данные примерно согласуются с гамма-распределением. То же самое происходит с сюжетом ECDF.$x$

Однако, когда я запускаю тест Колмогорова-Смирнова, он дает мне неоправданно маленькое значение < 1 $p$$<1\%$ .

Во что я должен верить? Графический вывод или результат KS-теста?

Я не вижу никакого смысла в том, чтобы «не верить» сюжету QQ (если вы его правильно подготовили); это просто графическое представление реальности ваших данных, сопоставленное с определением распределения. Понятно, что это не идеальное совпадение, но если этого достаточно для ваших целей, это может быть более или менее концом истории. Вы можете проверить этот связанный вопрос: действительно ли тестирование нормальности «бесполезно»?

$p$ из теста KS в основном говорит о том, что размер вашей выборки достаточно велик, чтобы убедительно противостоять нулевой гипотезе о том, что ваши данные принадлежат точно такому же распределению, что и эталонное распределение (я полагаю, вы ссылались на гамма-распределение; вы может захотеть еще раз проверить, что ты сделал). Это кажется достаточно ясным из графика QQ (то есть, есть небольшие, но, казалось бы, систематические паттерны отклонения), поэтому я не думаю, что здесь действительно есть какая-либо противоречивая информация.

Слишком ли отличаются ваши данные от гамма-распределения для ваших намеченных целей - это другой вопрос. Тест KS сам по себе не может ответить на него (потому что его результат будет зависеть от размера вашей выборки, среди других причин), но график QQ может помочь вам принять решение. Возможно, вы также захотите изучить надежные альтернативы любым другим анализам, которые вы планируете проводить, и если вы особенно серьезно относитесь к чувствительности любого последующего анализа к отклонениям от гамма-распределения, вы можете рассмотреть возможность проведения некоторого имитационного тестирования тоже ,

Что вы могли бы сделать, это создать несколько образцов из вашего теоретического распределения и нанести их на фон вашего QQ-графика. Это даст вам представление о том, какую изменчивость вы можете разумно ожидать от простой выборки.

Вы можете расширить эту идею, чтобы создать оболочку вокруг теоретической линии, используя пример со страниц 86-89:

Venables, WN и Ripley, BD 2002. Современная прикладная статистика с С. Нью-Йорк: Springer.

Это будет точечный конверт. Вы можете расширить эту идею еще дальше, чтобы создать общий конверт, используя идеи со страниц 151-154:

Дэвисон А.С. и Хинкли Д.В. 1997. Методы начальной загрузки и их применение. Кембридж: издательство Кембриджского университета.

Тем не менее, для базового исследования, я думаю, просто нанести пару эталонных образцов на задний план вашего QQ-графика будет более чем достаточно.

Тест KS предполагает определенные параметры вашего дистрибутива. Он проверяет гипотезу «данные распределяются в соответствии с этим конкретным распределением». Возможно, вы где-то указали эти параметры. Если нет, возможно, использовались некоторые не соответствующие значения по умолчанию. Обратите внимание, что тест KS станет консервативным, если оценочные параметры будут включены в гипотезу.

Тем не менее, большинство проверок на пригодность подходят неправильно. Если тест KS не показал бы значимости, это не означает, что модель, которую вы хотели доказать, является подходящей. Это то, что @Nick Stauner сказал о слишком маленьком размере выборки. Эта проблема аналогична проверке точечных гипотез и проверок эквивалентности.

Итак, в конце: рассмотрим только QQ-графики.

График QQ - это исследовательский метод анализа данных, и его следует рассматривать как таковой, как и все другие графики EDA. Они предназначены только для предварительного ознакомления с имеющимися данными. Вы никогда не должны решать или останавливать свой анализ на основе графиков EDA, таких как график QQ. Это неправильный совет, чтобы рассматривать только графики QQ. Вы должны определенно использовать количественные методы, такие как KS Test. Предположим, у вас есть еще один график QQ для аналогичного набора данных, как бы вы сравнили их без количественного инструмента? Прямо следующий шаг после теста EDA и KS - выяснить, почему тест KS дает низкое значение p (в вашем случае это может быть даже из-за какой-то ошибки).

Методы EDA НЕ предназначены для использования в качестве инструментов принятия решений. На самом деле, я бы сказал, что даже логическая статистика предназначена только для ознакомления. Они дают вам указания относительно того, в каком направлении следует продолжить статистический анализ. Например, t-тест на выборке даст вам только уровень уверенности в том, что выборка может (или не может) принадлежать населению, вы все равно можете продолжить, основываясь на этом понимании того, к какому распределению принадлежат ваши данные и что его параметры и т. д. Фактически, когда некоторые заявляют, что даже методы, реализованные как часть библиотек машинного обучения, также носят исследовательский характер !!! Я надеюсь, что они имеют в виду в этом смысле ...!

Принятие статистических решений на основе графиков или методов визуализации является насмешкой над достижениями, достигнутыми в статистической науке. Если вы спросите меня, вы должны использовать эти графики в качестве инструментов для передачи окончательных выводов на основе вашего количественного статистического анализа.