Когда что использовать - Машинное обучение [закрыто]


39

Недавно в классе машинного обучения профессора Ориола Пухоля в UPC / Барселона он описал наиболее распространенные алгоритмы, принципы и концепции, которые можно использовать для решения широкого круга задач, связанных с машинным обучением. Здесь я делюсь ими с вами и спрашиваю вас:

  • Существует ли какая-либо всеобъемлющая структура, сопоставляющая задачи с подходами или методами, относящимися к различным типам проблем, связанных с машинным обучением?

Как я могу выучить простой гауссовский язык? Вероятность, случайные величины, распределения; оценка, сходимость и асимптотика, доверительный интервал.

Как я могу выучить смесь гауссиан (MoG)? Вероятность, ожидание-максимизация (EM); обобщение, выбор модели, перекрестная проверка; k-means, скрытые марковские модели (HMM)

Как я могу узнать любую плотность? Параметрическая и непараметрическая оценка, Соболева и другие функциональные пространства; l 2 2 ошибка; Оценка плотности ядра (KDE), оптимальное ядро, теория KDE

Как мне предсказать непрерывную переменную (регрессия)? Линейная регрессия, регуляризация, гребневая регрессия и LASSO; локальная линейная регрессия; оценка условной плотности.

Как мне предсказать дискретную переменную (классификацию)? Байесовский классификатор, наивный байесовский, порождающий и дискриминационный; персептрон, затухание веса, машина линейных опорных векторов; классификатор и теория ближайшего соседа

Какую функцию потерь я должен использовать? Теория оценки максимального правдоподобия; оценка л -2; Байесовская оценка; минимакс и теория решений, байесианство против частоты

Какую модель мне использовать? AIC и BIC; Теория Вапника-Червоненского; теория перекрестной проверки; самонастройки; Вероятно, приблизительно верная (PAC) теория; Границы, полученные из Хоффдинга

Как я могу выучить более модные (комбинированные) модели? Теория обучения ансамблю; повышение; расфасовки; штабелирования

Как я могу изучить причудливые (нелинейные) модели? Обобщенные линейные модели, логистическая регрессия; Теорема Колмогорова, обобщенные аддитивные модели; ядрообразование, воспроизводящие ядра гильбертовых пространств, нелинейный SVM, регрессия гауссовского процесса

Как я могу выучить более модные (композиционные) модели? Рекурсивные модели, деревья решений, иерархическая кластеризация; нейронные сети, обратное распространение, сети глубоких убеждений; графические модели, смеси HMM, условные случайные поля, марковские сети с максимальным запасом; логарифмические модели; грамматик

Как мне уменьшить или связать функции? Выбор элемента против уменьшения размерности, методы обертки для выбора элемента; причинно-следственная связь, частичная корреляция, изучение структуры Байеса

Как мне создать новые функции? анализ главных компонентов (PCA), анализ независимых компонентов (ICA), многомерное масштабирование, многогранное обучение, контролируемое уменьшение размерности, метрическое обучение

Как мне уменьшить или связать данные? Кластеризация, би-кластеризация, кластеризация с ограничениями; правила ассоциации и анализ рыночной корзины; ранжирование / порядковая регрессия; анализ ссылок; реляционные данные

Как мне относиться к временным рядам? ARMA; Модели фильтра Калмана и стат-пространства, фильтр частиц; функциональный анализ данных; обнаружение точки изменения; перекрестная проверка для временных рядов

Как мне относиться к неидеальным данным? ковариатный сдвиг; классовый дисбаланс; недостающие данные, данные с нерегулярной выборкой, ошибки измерений; обнаружение аномалий, робастность

Как мне оптимизировать параметры? Неограниченная или ограниченная / выпуклая оптимизация, методы без производных, методы первого и второго порядка, обратная подгонка; естественный градиент; связанная оптимизация и EM

Как оптимизировать линейные функции? вычислительная линейная алгебра, матричная инверсия для регрессии, разложение по сингулярным числам (SVD) для уменьшения размерности

Как мне оптимизировать ограничения? Выпуклость, множители Лагранжа, условия Каруша-Куна-Таккера, методы внутренних точек, алгоритм SMO для SVM

Как оценить суммы с глубокими вложениями? Точный вывод графической модели, вариационные оценки сумм, приближенный вывод графической модели, распространение ожидания

Как я могу оценить большие суммы и поиски? Обобщенные задачи N-тела (ВНП), иерархические структуры данных, поиск ближайших соседей, быстрый множественный метод; Интеграция Монте-Карло, Марковская цепь Монте-Карло, Монте-Карло SVD

Как мне лечить еще большие проблемы? Параллельный / распределенный ЭМ, параллельный / распределенный ВНП; стохастические субградиентные методы, онлайн-обучение

Как мне применить все это в реальном мире? Обзор частей ОД, выбор между методами, используемыми для каждой задачи, предварительными знаниями и предположениями; исследовательский анализ данных и визуализация информации; оценка и интерпретация с использованием доверительных интервалов и проверки гипотез, кривые ROC; где проблемы исследования в ОД


Действительно широкий. Я думаю, что каждый подвопрос должен быть отдельным вопросом, чтобы иметь значимый ответ.
Амир Али Акбари

2
Этот вопрос может быть квалифицирован как слишком широкий или не слишком широкий, в зависимости от того, как вы на него смотрите. Если вопрос подразумевал бы подробное описание задач и методов, это было бы, конечно, широко не только для вопроса, но даже для отдельной книги. Однако я не думаю, что этот вопрос подразумевает такое толкование . Я полагаю, что этот вопрос ищет основу или таксономию , сопоставляя задачи с подходами или методами ( алгоритмы и концепции следует игнорировать из-за проблем гранулярности). С этой точки зрения этот ответ не слишком широк и, следовательно, является ИМХО действительным.
Александр Блех

@AleksandrBlekh Точно такая структура, о которой вы говорите, является целью вопроса. Я редактирую это, чтобы уточнить. Спасибо
Хавьерфдр

@Javierfdr: Пожалуйста.
Александр Блех

@SeanOwen Я изменил основной вопрос. Пожалуйста, скажите мне, если это все еще широко, и я должен был бы сделать это более острым. Спасибо!
Хавьерфдр

Ответы:


6

Я согласен с @geogaffer. Это действительно очень хороший список. Тем не менее, я вижу некоторые проблемы с этим списком, поскольку он в настоящее время сформулирован. Например, одна проблема заключается в том, что предлагаемые решения имеют разные уровни детализации - некоторые из них представляют подходы , некоторые - методы , некоторые - алгоритмы , а некоторые другие - просто концепции (другими словами, термины в терминологии предметной области). Кроме того, - и я считаю, что это гораздо важнее, чем выше - я думаю, что было бы очень полезно, если бы все эти решения в списке были организованы в единой тематической статистической структуре, Эта идея была вдохновлена ​​чтением прекрасной книги Лизы Харлоу "Сущность многомерного мышления". Поэтому недавно я инициировал соответствующее, хотя и в настоящее время несколько ограниченное, обсуждение на перекрестном сайте StackExchange . Не позволяйте названию сбить вас с толку - мое подразумеваемое намерение и надежда состоят в том, чтобы создать единую структуру , как упоминалось выше.


Та структура, которую вы упомянули, была бы отличной вещью! Есть ли что-нибудь подобное написанное?
Хавьерфдр

@Javierfdr: Ничего, о чем я знаю. Тем не менее, я продолжаю искать.
Александр Блех

@AleksandrBlekh, чем больше я думаю об этом, тем больше я думаю, что поиск статистической структуры ошибочен. Посмотрите ответ Фрэнка Харрелла на ваш вопрос и мой ответ на этот вопрос. Но книга Харлоу звучит очень интересно, и я собираюсь забрать ее из библиотеки на этой неделе.
shadowtalker

1
@ssdecontrol: я с уважением не согласен. Предполагая, что такой структуры не существует (что, скорее всего, имеет место в настоящее время), и понимая, что создать ее непросто, я твердо верю, что, тем не менее, это очень возможно. Что касается ответов, которые вы упомянули (я всегда читаю все из них), я прочитал оба, но они не доказывают, что создание такой структуры невозможно - просто сложно, как я уже говорил. Это не то, что должно мешать людям думать об этом и даже работать над этим. Наслаждайся книгой Харлоу.
Александр Блех

3

Это хороший список, охватывающий многое. Я использовал некоторые из этих методов еще до того, как что-то называлось машинным обучением, и я думаю, что вы увидите, что некоторые из перечисленных вами методов со временем приходят и выходят из употребления. Если метод слишком долго не пользовался популярностью, возможно, пришло время вернуться к нему. Некоторые методы могут скрывать разные имена, полученные в разных областях обучения.

Одна из основных областей, в которых я использовал эти методы, - это моделирование минерального потенциала, которое является геопространственным и для поддержки которого вы можете добавить некоторые дополнительные категории, относящиеся к методам пространственных и ориентированных данных.

Если вы ответите на свой широкий вопрос в конкретных областях, вы, вероятно, найдете больше примеров методов, которых нет в вашем полном списке. Например, два метода, которые я видел в минеральном потенциале, это обратная ступенчатая регрессия и моделирование весов доказательств. Я не статистика; возможно, они будут считаться включенными в список в рамках линейной регрессии и байесовских методов.


1

Я думаю, что ваш подход немного отсталый.

«Каково среднее распределение Гаусса, соответствующее этим данным?» никогда не является постановкой задачи, поэтому "как мне соответствовать гауссову?" это никогда не проблема, которую вы на самом деле хотите решить.

Разница более чем семантическая. Рассмотрим вопрос «как создать новые функции?» Если ваша цель - разработать индекс, вы можете использовать какой-то тип факторного анализа. Если ваша цель состоит в том, чтобы просто уменьшить пространство признаков до подбора линейной модели, вы можете полностью пропустить шаг и использовать вместо этого упругую регрессию.

Лучшим подходом было бы составить список актуальных задач анализа данных, которые вы хотели бы решить . Такие вопросы, как:

Как я могу предсказать, вернутся ли клиенты на мой торговый сайт?

Как узнать, сколько существует «основных» моделей покупательских покупок и каковы они?

Как мне построить индекс «волатильности» для разных товаров в моем интернет-магазине?

Также ваш список прямо сейчас включает в себя огромное количество материала; слишком много, чтобы «пересмотреть» и получить больше, чем поверхностное понимание. Имея в виду реальную цель может помочь вам разобраться в ваших приоритетах.


Я понимаю, что вы говорите @ssdecontrol, на самом деле полный список решений типичных проблем, как вы упомянули, также может быть очень полезным. Теперь, главное различие между этими двумя подходами состоит в том, что то, что я предлагаю, напрямую связано с техническими вопросами, которые вы можете задать себе, когда вы уже пробуете альтернативы, и в этот момент вы уже сделали некоторые предположения. Итак, если вы предположили, что ваши функции не являются гауссовыми, я должен использовать PCA для уменьшения размерности? Нет. Ваш подход шире: что использовать для тусклых. сокращение -> СПС, но принять гауссовские функции. Thx
Javierfdr

@Javierfdr моя точка зрения заключается в том, что технические вопросы отвлекают, если у вас нет вопроса по существу.
теневик
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.