Статистический тест, чтобы определить, взяты ли две пробы из одной популяции?

Допустим, у меня есть два образца. Если я хочу сказать, получены ли они из разных групп населения, я могу провести t-тест. Но допустим, я хочу проверить, являются ли образцы одной популяции. Как это сделать? То есть как рассчитать статистическую вероятность того, что эти две выборки были получены из одной популяции?

statistical-significance

— user1566200
источник

Пожалуйста, объясните - как можно более количественно - что вы подразумеваете под «тем же». Это также поможет уточнить, что вы подразумеваете под «условием».

— whuber

Тест, подобный критерию Колмогорова-Смирнова с двумя выборками (не единственная возможность; при обычных предположениях t-тест проверяет то же самое, что и вы, как вы заметили), может проверить, отличаются ли распределения населения (но отказ от отклонения не Я имею в виду, они на самом деле то же самое). Тем не менее, ни один тест не может сказать вам, являются ли два не слишком различающихся распределения на самом деле одной и той же совокупностью , а не двумя разными совокупностями с одинаковыми распределениями. Это должно исходить из предположений или другого расследования. ... ctd

— Восстановить Монику

ctd ... Точно так же тесты не могут даже сказать, что дистрибутивы идентичны, так как они могут отличаться тривиальными способами. Возможно, вы захотите выполнить поиск по «тесту эквивалентности» или «тесту эквивалентности», по которому вы должны получить немало посещений здесь или в Google.

— Glen_b

Ответы:

Тесты, которые сравнивают распределения, являются тестами исключения. Они начинают с нулевой гипотезы о том, что две популяции идентичны, а затем пытаются отвергнуть эту гипотезу. Мы никогда не сможем доказать, что значение null является правдой, просто отклонить его, поэтому эти тесты нельзя использовать, чтобы показать, что 2 выборки происходят из одной и той же совокупности (или идентичных совокупностей).

Это связано с тем, что в распределениях могут быть незначительные различия (то есть они не идентичны), но они настолько малы, что тесты не могут найти разницу.

Рассмотрим 2 распределения: первое является равномерным от 0 до 1, второе представляет собой смесь 2-х униформ, поэтому оно составляет 1 между 0 и 0,999, а также 1 между 9,999 и 10 (0 в других местах). Очевидно, что эти распределения различны (имеет ли значение различие, это другой вопрос), но если вы берете размер выборки 50 от каждого (всего 100), существует более 90% вероятности, что вы увидите только значения от 0 до 0,999 и быть не в состоянии увидеть какую-либо реальную разницу.

Есть способы сделать так называемое тестирование на эквивалентность, когда вы спрашиваете, эквивалентны ли 2 распределения / группы, но вам нужно определить, что вы считаете эквивалентным. Как правило, некоторая мера разницы находится в заданном диапазоне, то есть разница в 2 средних составляет менее 5% от среднего значения 2 средних, или статистика KS ниже заданного порогового значения и т. Д. Если вы Затем можно рассчитать доверительный интервал для разностной статистики (разность средних может быть просто доверительным интервалом, для другой статистики может потребоваться начальная загрузка, моделирование или другие методы). Если весь доверительный интервал попадает в «область эквивалентности», то мы считаем, что 2 популяции / распределения являются «эквивалентными».

Сложная часть - выяснить, какой должна быть область эквивалентности.

— Грег Сноу
источник

Тест с нулевой гипотезой никогда не может предоставить доказательства для нулевой гипотезы, правда. Однако выбор модели, либо байесовский, либо основанный на каком-то «критерии» (AIC, BIC), может указывать на то, что нулевая модель (идентичные распределения) является лучшим описанием данных, чем альтернативная модель (другое распределение). Все это под кучей предположений, конечно.

— А. Донда

http://en.wikipedia.org/wiki/Kolmogorov%E2%80%93Smirnov_test

Предполагая, что ваши значения выборки получены из непрерывных распределений, я бы предложил тест Колмогорова-Смирнова. Его можно использовать для проверки того, приходят ли две выборки из разных распределений (именно так я интерпретирую ваше использование совокупности) на основе их связанных эмпирических распределений.

Прямо из Википедии:

Нулевое распределение этой статистики рассчитывается при нулевой гипотезе, что выборки взяты из того же распределения (в случае двух выборок)

Для этого теста можно использовать функцию ks.test в R.

Хотя это верно, что kstest не проверяет однородность, я бы сказал, что если вам не удастся отбросить образец с достаточно большим размером выборки (тест с высокой мощностью), вы можете утверждать, что различия практически не значимы. Можно сделать вывод, что, если различия существуют, они, вероятно, не имеют смысла (опять же, принимая во внимание большой размер выборки). Вы не можете сделать вывод, что они принадлежат к тому же населению, что и другие правильно заявили. При всем этом, как правило, я бы просто графически исследовал два образца на предмет сходства.

— Underminer
источник

Я сомневаюсь, что тест KS может использоваться, чтобы показать эквивалентность распределения.

— Майкл М

@MichaelMayer это точно. ОП интересуется тестом на однородность ... в котором много методологических вопросов. KS для гетерогенности также имеет свои проблемы: практически он будет отбраковывать в больших выборках независимо от того, являются ли популяции практически идентичными во всех аспектах. Это просто показывает, что тестирование и, следовательно, p-значения лучше воспринимать как показатели размера выборки, чем статистической значимости.

— AdamO

@AdamO Да, но если у вас большие выборки и вы не можете отказаться, я был бы уверен, что популяции практически идентичны. Насколько я знаю, нет теории, подтверждающей это, но из опыта известно, что KS для гетерогенности может обнаруживать незначительные различия при большом размере выборки, что позволяет вам использовать неудавшийся тест большой выборки в качестве фактического утверждения о практически идентичные группы населения. Отвечает ли мой ответ на вопрос «рассчитать статистическую вероятность того, что эти две выборки были получены из одной популяции»? Конечно, нет.

— Underminer

Что я могу сделать, если мои точки двумерные ? То есть у меня есть две выборки двумерных точек, и я хочу знать, происходят ли они из разных распределений.

— Бекко

Тест KS работает только для предварительно определенного распределения, а не для распределения с параметрами, оцененными по данным.

— 4

Вы можете использовать «функцию сдвига», которая проверяет, отличаются ли 2 распределения на каждом дециле. Хотя это технически проверка того, принадлежат ли они к разным группам, а не к одному и тому же, если распределения не отличаются ни по одному из децилей, то вы можете быть достаточно уверены, что они принадлежат к одной и той же группе, особенно если размеры групп велики.

Я бы также визуализировал 2 группы: наложил их распределения и посмотрел, похожи ли они друг на друга, или, еще лучше, нарисую пару тысяч загрузочных образцов из каждой группы и нанесу их на график , так как это даст вам представление о том, происходят ли они из одной и той же группы. популяция, особенно если рассматриваемая популяция обычно не распределена по заданной вами переменной.

— Richie
источник