Различение между двумя группами в статистике и машинном обучении: проверка гипотез против классификации и кластеризации

Предположим, у меня есть две группы данных, помеченные A и B (каждая из которых содержит, например, 200 образцов и 1 особенность), и я хочу знать, отличаются ли они. Я мог бы:

• а) выполнить статистический тест (например, t-тест), чтобы увидеть, отличаются ли они статистически.

• б) использовать контролируемое машинное обучение (например, классификатор опорных векторов или классификатор случайных лесов). Я могу обучить это на части моих данных и проверить это на остальных. Если после этого алгоритм машинного обучения правильно классифицирует остальные, я могу быть уверен, что выборки дифференцируемы.

• c) использовать неконтролируемый алгоритм (например, K-Means) и дать ему разделить все данные на две выборки. Затем я могу проверить, соответствуют ли эти два найденных образца моим ярлыкам А и В.

Мои вопросы:

1. Как эти три различных способа перекрываются / исключают?
2. Б) и в) полезны для каких-либо научных аргументов?
3. Как я могу получить «значимость» для разницы между образцами A и B из методов b) и c)?
4. Что изменится, если данные будут иметь несколько функций, а не одну функцию?
5. Что произойдет, если они содержат различное количество образцов, например, 100 против 300?

Отличный вопрос Все может быть хорошим или плохим, полезным или нет, в зависимости от ваших целей (и, возможно, от характера вашей ситуации). По большей части эти методы предназначены для достижения различных целей.

• Статистические тесты , такие как test, позволяют проверять научные гипотезы. Они часто используются для других целей (потому что люди просто не знакомы с другими инструментами), но, как правило, не должны. Если у вас есть априорная гипотеза о том, что две группы имеют разные средние значения для нормально распределенной переменной, то t- тест позволит вам проверить эту гипотезу и контролировать частоту ошибок долгосрочного типа I (хотя вы не будете знать, вы сделали тип ошибки I в данном конкретном случае). $t$$t$
• Классификаторы в машинном обучении, такие как SVM, предназначены для классификации шаблонов как принадлежащих к одному из известных наборов классов. Типичная ситуация состоит в том, что у вас есть несколько известных экземпляров, и вы хотите обучить классификатор, используя их, чтобы он мог обеспечить наиболее точные классификации в будущем, когда у вас будут другие шаблоны, истинный класс которых неизвестен. Акцент здесь делается на точности выборки ; Вы не проверяете никакую гипотезу. Конечно, вы надеетесь, что распределение переменных / признаков предикторов отличается между классами, потому что в противном случае будущая помощь в классификации не будет возможна, но вы не пытаетесь оценить свою уверенность в том, что средства Y отличаются на X. Вы хотите правильно угадать X в будущем, когда Y известен.
• Алгоритмы обучения без присмотра, такие как кластеризация , предназначены для обнаружения или наложения структуры на набор данных. Есть много возможных причин, почему вы можете захотеть сделать это. Иногда вы можете ожидать, что в наборе данных есть истинные скрытые группировки, и хотите посмотреть, покажутся ли результаты кластеризации разумными и пригодными для ваших целей. В других случаях вы можете захотеть наложить структуру на набор данных, чтобы включить сокращение данных. В любом случае, вы не пытаетесь проверить гипотезу ни о чем, и при этом вы не надеетесь быть в состоянии точно предсказать что-либо в будущем.

Имея это в виду, давайте ответим на ваши вопросы:

1. Три метода существенно различаются по целям, которым они служат.
2. b и c могут быть полезны в научных аргументах, это зависит от природы рассматриваемых аргументов. Безусловно, наиболее распространенный тип научных исследований - проверка гипотез. Однако формирование прогнозных моделей или обнаружение скрытых паттернов также являются возможными, законными целями.
3. Обычно вы не пытаетесь получить «значимость» от методов b или c.
4. Предполагая, что эти функции носят категорический характер (я полагаю, это то, что вы имеете в виду), вы все равно можете проверять гипотезы, используя факторный ANOVA. В машинном обучении есть подтема для классификации по нескольким меткам . Существуют также методы для нескольких членских / перекрывающихся кластеров, но они менее распространены и представляют собой гораздо менее решаемую проблему. Для обзора темы см. Krumpleman, CS (2010) Перекрывающаяся кластеризация. Диссертация, UT Остин, Электротехника и вычислительная техника ( pdf ).
5. Вообще говоря, все три типа методов имеют большую сложность, так как количество случаев в разных категориях расходится.

Не собираюсь заниматься кластеризацией, потому что она была рассмотрена в других ответах, но:

В общем, задача проверки ли двух образцов различны по значению , как известно , два образца тестирования .

$t$$p$

Возможно, было бы легче подумать о некоторых из этих проблем, если вы построите тест с двумя выборками из классификатора, например, как недавно предложили Lopez-Paz и Oquab (2017) . Процедура выглядит следующим образом:

• $X$$Y$$X_\text{train}$$X_\text{test}$$Y_\text{train}$$Y_\text{test}$
• $X_\text{train}$$Y_\text{train}$
• $X_\text{test}$$Y_\text{test}$
• $\hat p$$p = \tfrac12$$p \ne \tfrac12$$p \ne \tfrac12$

Изучив изученный классификатор, вы также сможете интерпретировать различия между распределениями полусмысленным образом. Изменяя семейство классификаторов, которые вы рассматриваете, вы также можете помочь тесту найти определенные виды различий.

Обратите внимание, что важно разделить тест на поезд: в противном случае классификатор, который только что запомнил свои входные данные, всегда имел бы идеальную различимость. Увеличение доли баллов в обучающем наборе дает больше данных для изучения хорошего классификатора, но дает меньше возможностей быть уверенным в том, что точность классификации действительно отличается от случайной. Этот компромисс будет варьироваться в зависимости от проблемы и семейства классификаторов и пока еще недостаточно понят.

Лопес-Пас и Окуаб показали хорошие эмпирические показатели этого подхода по нескольким проблемам. Рамдас и соавт. (2016) дополнительно показали, что теоретически близкородственный подход является оптимальным по скорости для одной конкретной простой задачи. «Правильная» вещь, которую нужно сделать в этой настройке, является областью активного исследования, но этот подход, по крайней мере, разумен во многих ситуациях, если вы хотите немного большей гибкости и интерпретации, чем просто применение стандартного стандартного теста.

Только подход (а) служит для проверки гипотезы.

В случае использования контролируемых алгоритмов машинного обучения (b) они не могут ни доказать, ни опровергнуть гипотезу об удаленности групп. Если алгоритм машинного обучения не классифицирует группы должным образом, это может произойти из-за того, что вы использовали «неправильный» алгоритм для своей задачи или недостаточно настроили его и т. Д. С другой стороны, вы можете «замучить» полностью «случайные» данные долго Достаточно, чтобы произвести подходящую модель, которая делает хорошие прогнозы. Еще одна проблема заключается в том, когда и как вы узнаете, что алгоритм делает «хорошие» прогнозы? Почти никогда вы не будете стремиться к 100% точности классификации, поэтому, когда вы узнаете, что результаты классификации что-то доказывают?

Алгоритмы кластеризации (с) не предназначены для контролируемого обучения. Они не нацелены на воссоздание меток, а на группирование ваших данных по сходству. Теперь результаты зависят от того, какой алгоритм вы используете, и какое сходство вы ищете. Ваши данные могут иметь различного рода сходства, вы можете искать различия между мальчиками и девочками, но алгоритм может вместо этого найти группы бедных и богатых детей, или умных и менее умных, правых и левшей и т. Д. группировка, которую вы намеревались, не доказывает, что группировка не имеет смысла, но только то, что она нашла другую «значимую» группировку. Как и в предыдущем случае, результаты могут зависеть от используемого алгоритма и параметров. Подойдет ли вам, если один из десяти алгоритмов / настроек найдет «ваш» этикетки? Что если бы это был один из ста? Как долго вы будете искать, прежде чем остановиться? Обратите внимание, что при использовании машинного обучения в подавляющем большинстве случаев вы не остановитесь после использования одного алгоритма с настройками по умолчанию, и результат может зависеть от процедуры, которую вы использовали.

1. а) только отвечает на вопрос, отличается ли распределение, но не как их различить. б) также найдет наилучшее значение для дифференциации двух распределений. c) будет работать, если два распределения имеют некоторые специфические свойства. Например, он будет работать с нормальным распределением, но не с некоторыми двумя модальными распределениями, потому что метод может дифференцировать два режима одной и той же группы вместо двух разных групп.

2. в) бесполезен для научных аргументов из-за двух модальных распределений. б) может быть использован для дифференциации двух распределений, потому что вы можете рассчитать значение (см. 3.) Хотя я никогда не встречал его.

3. По самозагрузке. Вы рассчитываете модель на основе случайных подвыборок 1000 раз. Вы получаете оценку, например, минимальную сумму ошибок альфа и бета. Вы сортируете счет по возрастанию. Для 5% уверенности вы выбираете 950-е значение. Если это значение меньше 50% (для равного количества баллов для групп А и В), то с 95% -ной уверенностью можно игнорировать нулевую гипотезу о том, что распределения одинаковы. Проблема в том, что если оба распределения нормальны, имеют одинаковое среднее значение, но имеют разные вариации, то вы не сможете понять, что они различаются по методикам ML. С другой стороны, вы можете найти тест вариации, который сможет различить два распределения. И может быть наоборот, что ML будет сильнее, чем статистический тест, и сможет различать распределения.

4. Когда у вас есть только одна особенность в ML, вам нужно найти только одно значение, чтобы различать распределения. С двумя особенностями граница может быть синусом, а в многомерном пространстве это может быть действительно странно. Так что найти правильную границу будет намного сложнее. С другой стороны, дополнительные функции приносят дополнительную информацию. Так что это, как правило, позволит легче различать два распределения. Если обе переменные нормально распределены, то граница - это линия.

5. Меньшие выборки могут вести себя ненормально, потому что Центральная Предельная Теорема не может быть применена. Большая выборка начинает вести себя более нормально, потому что начинает работать Центральная предельная теорема. Например, среднее значение обеих групп будет почти нормально распределено, если выборка достаточно велика. Но обычно это не 100 против 300, а 10 наблюдений против 1000 наблюдений. Таким образом, согласно этому сайту t-критерий для разности средних значений будет работать независимо от распределения, если число наблюдений больше 40 и без выбросов.

Статистическое тестирование предназначено для того, чтобы сделать вывод из данных, оно показывает, как все связано. Результатом является то, что имеет значение в реальном мире. Например, как курение связано с раком легких, как с точки зрения направления, так и величины. Это все еще не говорит вам, почему вещи произошли. Чтобы ответить, почему что-то произошло, нам нужно также рассмотреть взаимосвязь с другими переменными и внести соответствующие коррективы (см. Pearl, J. (2003). ПРИЧИНА: МОДЕЛИ, ПРИЧИНЫ И ВЛИЯНИЕ).

Контролируемое обучение предназначено для прогнозирования, оно говорит вам, что произойдет. Например, учитывая статус курения человека, мы можем предсказать, будет ли у него рак легких. В простых случаях он по-прежнему говорит вам «как», например, глядя на предельное состояние курения, идентифицированное алгоритмом. Но более сложные модели труднее или невозможно интерпретировать (глубокое обучение / повышение с большим количеством функций).

Обучение без присмотра часто используется для облегчения вышеупомянутых двух.

• Для статистического тестирования, обнаруживая некоторые неизвестные основные подгруппы данных (кластеризация), мы можем вывести неоднородность в ассоциациях между переменными. Например, курение увеличивает вероятность возникновения рака легких для подгруппы А, но не для подгруппы В.
• Для контролируемого обучения мы можем создавать новые функции для повышения точности и надежности прогнозирования. Например, путем определения подгрупп (кластеризация) или сочетания признаков (уменьшение размеров), которые связаны с вероятностью возникновения рака легких.

Когда количество функций / переменных становится больше, разница между статистическим тестированием и контролируемым обучением становится более существенной. Статистическое тестирование может не обязательно выиграть от этого, это зависит, например, от того, хотите ли вы сделать причинный вывод, контролируя другие факторы или выявляя неоднородность в ассоциациях, как упомянуто выше. Обучение под наблюдением будет работать лучше, если функции будут актуальны, и оно станет больше похожим на черный ящик.

Когда количество выборок увеличивается, мы можем получить более точные результаты для статистического тестирования, более точные результаты для обучения под наблюдением и более надежные результаты для обучения без присмотра. Но это зависит от качества данных. Данные плохого качества могут привести к смещению или шуму результатов.

Иногда мы хотим знать, «как» и «почему», чтобы информировать интервенционные действия, например, путем определения того, что курение вызывает рак легких, может быть разработана политика для борьбы с этим. Иногда мы хотим знать, «что» сообщать при принятии решений, например, выяснять, у кого может быть рак легких, и назначать им раннее лечение. В журнале Science опубликован специальный выпуск о прогнозировании и его пределах ( http://science.sciencemag.org/content/355/6324/468.). «Похоже, что успех достигается наиболее последовательно, когда вопросы решаются междисциплинарными усилиями, которые объединяют человеческое понимание контекста с алгоритмической способностью обрабатывать терабайты данных». По моему мнению, например, знания, обнаруженные с помощью тестирования гипотез, могут помочь контролировать обучение, информируя нас какие данные / особенности мы должны собирать в первую очередь. С другой стороны, контролируемое обучение может помочь генерировать гипотезы, сообщая, какие переменные