Недавно в классе машинного обучения профессора Ориола Пухоля в UPC / Барселона он описал наиболее распространенные алгоритмы, принципы и концепции, которые можно использовать для решения широкого круга задач, связанных с машинным обучением. Здесь я делюсь ими с вами и спрашиваю вас:
- Существует ли какая-либо всеобъемлющая структура, сопоставляющая задачи с подходами или методами, относящимися к различным типам проблем, связанных с машинным обучением?
Как я могу выучить простой гауссовский язык? Вероятность, случайные величины, распределения; оценка, сходимость и асимптотика, доверительный интервал.
Как я могу выучить смесь гауссиан (MoG)? Вероятность, ожидание-максимизация (EM); обобщение, выбор модели, перекрестная проверка; k-means, скрытые марковские модели (HMM)
Как я могу узнать любую плотность? Параметрическая и непараметрическая оценка, Соболева и другие функциональные пространства; l 2 2 ошибка; Оценка плотности ядра (KDE), оптимальное ядро, теория KDE
Как мне предсказать непрерывную переменную (регрессия)? Линейная регрессия, регуляризация, гребневая регрессия и LASSO; локальная линейная регрессия; оценка условной плотности.
Как мне предсказать дискретную переменную (классификацию)? Байесовский классификатор, наивный байесовский, порождающий и дискриминационный; персептрон, затухание веса, машина линейных опорных векторов; классификатор и теория ближайшего соседа
Какую функцию потерь я должен использовать? Теория оценки максимального правдоподобия; оценка л -2; Байесовская оценка; минимакс и теория решений, байесианство против частоты
Какую модель мне использовать? AIC и BIC; Теория Вапника-Червоненского; теория перекрестной проверки; самонастройки; Вероятно, приблизительно верная (PAC) теория; Границы, полученные из Хоффдинга
Как я могу выучить более модные (комбинированные) модели? Теория обучения ансамблю; повышение; расфасовки; штабелирования
Как я могу изучить причудливые (нелинейные) модели? Обобщенные линейные модели, логистическая регрессия; Теорема Колмогорова, обобщенные аддитивные модели; ядрообразование, воспроизводящие ядра гильбертовых пространств, нелинейный SVM, регрессия гауссовского процесса
Как я могу выучить более модные (композиционные) модели? Рекурсивные модели, деревья решений, иерархическая кластеризация; нейронные сети, обратное распространение, сети глубоких убеждений; графические модели, смеси HMM, условные случайные поля, марковские сети с максимальным запасом; логарифмические модели; грамматик
Как мне уменьшить или связать функции? Выбор элемента против уменьшения размерности, методы обертки для выбора элемента; причинно-следственная связь, частичная корреляция, изучение структуры Байеса
Как мне создать новые функции? анализ главных компонентов (PCA), анализ независимых компонентов (ICA), многомерное масштабирование, многогранное обучение, контролируемое уменьшение размерности, метрическое обучение
Как мне уменьшить или связать данные? Кластеризация, би-кластеризация, кластеризация с ограничениями; правила ассоциации и анализ рыночной корзины; ранжирование / порядковая регрессия; анализ ссылок; реляционные данные
Как мне относиться к временным рядам? ARMA; Модели фильтра Калмана и стат-пространства, фильтр частиц; функциональный анализ данных; обнаружение точки изменения; перекрестная проверка для временных рядов
Как мне относиться к неидеальным данным? ковариатный сдвиг; классовый дисбаланс; недостающие данные, данные с нерегулярной выборкой, ошибки измерений; обнаружение аномалий, робастность
Как мне оптимизировать параметры? Неограниченная или ограниченная / выпуклая оптимизация, методы без производных, методы первого и второго порядка, обратная подгонка; естественный градиент; связанная оптимизация и EM
Как оптимизировать линейные функции? вычислительная линейная алгебра, матричная инверсия для регрессии, разложение по сингулярным числам (SVD) для уменьшения размерности
Как мне оптимизировать ограничения? Выпуклость, множители Лагранжа, условия Каруша-Куна-Таккера, методы внутренних точек, алгоритм SMO для SVM
Как оценить суммы с глубокими вложениями? Точный вывод графической модели, вариационные оценки сумм, приближенный вывод графической модели, распространение ожидания
Как я могу оценить большие суммы и поиски? Обобщенные задачи N-тела (ВНП), иерархические структуры данных, поиск ближайших соседей, быстрый множественный метод; Интеграция Монте-Карло, Марковская цепь Монте-Карло, Монте-Карло SVD
Как мне лечить еще большие проблемы? Параллельный / распределенный ЭМ, параллельный / распределенный ВНП; стохастические субградиентные методы, онлайн-обучение
Как мне применить все это в реальном мире? Обзор частей ОД, выбор между методами, используемыми для каждой задачи, предварительными знаниями и предположениями; исследовательский анализ данных и визуализация информации; оценка и интерпретация с использованием доверительных интервалов и проверки гипотез, кривые ROC; где проблемы исследования в ОД