Навыки трудно найти в машинного обучения?

Кажется, что интеллектуальный анализ данных и машинное обучение стали настолько популярными, что теперь почти каждый студент CS знает о классификаторах, кластеризации, статистической НЛП ... и т. Д. Таким образом, кажется, что в настоящее время найти майнеры данных не сложно.

Мой вопрос: какие навыки может извлечь майнер, который отличает его от других? Чтобы сделать его не таким простым, чтобы найти кого-то вроде него.

Я видел, как разработчики несколько раз использовали методы ML. Это обычный шаблон:

1. скачать библиотеку с причудливым названием;
2. потратить 10 минут на чтение, как его использовать (пропуская любую статистику, математику и т. д.);
3. подпитывать его данными (без предварительной обработки);
4. измерять производительность (например, точность, даже если классы полностью несбалансированны) и рассказывать всем, как это круто с его точностью 99%;
5. развернуть в производство с эпическими ошибочными результатами;
6. найти кого-то, кто понимает, что происходит, чтобы помочь им, потому что руководство по эксплуатации не имеет никакого смысла вообще.

Простой ответ заключается в том, что (большинство) инженеры-программисты очень слабы в статистике и математике. Это преимущество любого, кто хочет с ними соревноваться. Конечно, статистика не в их зоне комфорта, если им нужно написать производственный код. Роль, которая становится действительно редкой, - это роль Data Scientist. Это тот, кто может написать код, чтобы получить доступ к огромному количеству данных и поиграть в них, чтобы найти в них ценность.

О чем это

Знание техник сродни знанию животных в зоопарке - вы можете назвать их, описать их свойства, возможно, идентифицировать их в дикой природе.

Понимание того, когда их использовать, формулирование, построение, тестирование и развертывание рабочих математических моделей в области приложения, избегая при этом ловушек, - это те навыки, которые отличают, на мой взгляд.

Упор следует делать на науку , применяя системный, научный подход к бизнесу, промышленным и коммерческим проблемам. Но для этого требуются навыки, более широкие, чем интеллектуальный анализ данных и машинное обучение, как убедительно утверждает Робин Блур в «A Data Science Rant» .

Так что можно сделать?

Области применения : узнайте о различных областях применения, близких к вашим интересам или интересам вашего работодателя. Область часто менее важна, чем понимание того, как была построена модель и как она использовалась для повышения ценности этой области. Модели, которые успешны в одной области, часто могут быть перенесены и применены к различным областям, которые работают подобным образом.

Соревнования : попробуйте сайт конкурса интеллектуального анализа данных Kaggle , желательно присоединиться к команде других. (Kaggle: платформа для соревнований по прогнозирующему моделированию. Компании, правительства и исследователи представляют наборы данных и проблемы, а лучшие в мире ученые-данные соревнуются за лучшие решения.)

Основы : Есть четыре: (1) прочное обоснование в статистике, (2) достаточно хорошие навыки программирования, (3) понимание того, как структурировать сложные запросы данных, (4) построение моделей данных. Если кто-то слаб, то это важное место для начала.

Несколько цитат на этот счет:

«Я очень рано узнал разницу между знанием названия чего-либо и знанием чего-либо. Вы можете знать имя птицы на всех языках мира, но когда вы закончите, вы абсолютно ничего не узнаете о птице ... Итак, давайте посмотрим на птицу и посмотрим, что она делает - это что имеет значение. '' - Ричард Фейнман, "Создание ученого", стр. 14 в книге "Что тебя волнует, что думают другие люди", 1988

Иметь ввиду:

«Сочетание навыков, необходимых для реализации этих проектов в области науки о данных, редко встречается в одном человеке. Кто-то действительно мог бы получить обширные знания в трех областях: (i) что делает бизнес, (ii) как использовать статистику и (iii) как управлять данными и потоками данных. Если это так, он или она действительно может претендовать на звание бизнес-ученого (иначе говоря, «ученого данных») в данном секторе. Но такие люди почти так же редки, как куриные зубы. '' - Робин Блур, A Data Science Rant , август 2013, Inside Analysis

И наконец:

«Карта - не территория». Альфред Коржибски, 1933, Наука и здравомыслие.

Большинство реальных прикладных задач не доступны только из `` карты ''. Чтобы делать практические вещи с математическим моделированием, нужно быть готовым разбираться в деталях, тонкостях и исключениях. Ничто не может заменить знание территории из первых рук.

Я согласен со всем, что было сказано. Что выделяется для меня:

1. Как мало «экспертов» по ​​машинному обучению действительно заинтересованы в предмете, к которому они хотят применить ML
2. Как мало кто по-настоящему понимает точность прогноза и правильные правила подсчета очков?
3. Как мало кто понимает принципы валидации
4. Как мало кто знает, когда использовать черный ящик по сравнению с традиционной моделью регрессии
5. Как ни один из «экспертов», кажется, никогда не изучал функции оптимального решения Байеса или функции потери / полезности / стоимости [это отсутствие понимания проявляется почти каждый раз, когда кто-то использует классификацию вместо прогнозируемого риска]

Вот несколько вещей, которые выделяют вас из толпы:

• Понять домен приложения или домены. То есть бизнес-среда или другой контекст.
• Понять общую картину. Это очень важно! Люди, которые изучают машинное обучение, часто теряются в деталях. Подумайте об общей картине, в которую будут вписываться ваши модели ML. Часто часть ML представляет собой небольшой сегмент гораздо большей системы. Понять всю систему.
• Изучите теорию полезности и принятия решений и байесовский вывод, а не только то, что сейчас считается «обычными» моделями ML. Байесовский умозаключение - это всего лишь способ формализовать идею использования всей контекстуальной информации для решения проблемы. Теория полезности и принятия решений - это привнесение ценностей в картину.

Общее сообщение, которое относится ко всем трем пунктам: посмотрите на общую картину, не теряйтесь в деталях.

Умение, которое отличает одного майнера данных от других, - это способность интерпретировать модели машинного обучения. Большинство строит машину, сообщает об ошибке и затем останавливается. Каковы математические отношения между функциями? Являются ли эффекты аддитивными или не аддитивными или и тем, и другим? Есть ли какие-либо особенности не имеют отношения? Ожидается ли машина в соответствии с нулевой гипотезой, что в данных присутствуют только случайные паттерны? Обобщает ли модель независимые данные? Что эти модели означают для изучаемой проблемы? Какие выводы? Какие идеи? Почему эксперт по домену должен волноваться? Приведет ли машина к тому, чтобы эксперт по области задавал новые вопросы и разрабатывал новые эксперименты? Может ли майнер данных эффективно сообщить модель и ее последствия для мира?

Я бы выдвинул понятие «мягкие навыки».

• признание того, кто является «экспертом» для метода X, и возможность использовать их знания (вы не должны или не должны знать все о чем-либо). Способность и желание сотрудничать с другими.

• способность переводить или представлять «реальный мир» с помощью математики, используемой в ОД.

• способность по-разному объяснять свои методы разной аудитории - зная, когда следует сосредоточиться на деталях, а когда отступить и посмотреть в более широком контексте.

• системное мышление, способность видеть, как ваша роль влияет на другие сферы бизнеса и как эти области влияют на вашу работу.

• понимание и понимание неопределенности и наличие некоторых структурированных методов для ее устранения. Умение четко заявить, каковы ваши предположения.

Умение хорошо обобщать

Это суть хорошей модели. И это суть того, что отличает лучших практиков искусства машинного обучения от толпы.

Понимание того, что цель состоит в том, чтобы оптимизировать производительность на невидимых данных, а не минимизировать потери при обучении. Знание того, как избежать как переоснащения, так и несоответствия. Придумать модели, которые не слишком сложны, но не слишком просты в описании проблемы. Извлечение сути тренировочного набора, а не максимально возможного.

Удивительно, как часто даже опытные специалисты по машинному обучению не следуют этому принципу. Одна из причин заключается в том, что люди не могут оценить две огромные разницы между теорией и практикой :

• Насколько больше пространство всех возможных примеров по сравнению с имеющимися данными обучения, даже если данные обучения очень велики.
• Насколько больше полное «пространство гипотез» : количество возможных моделей для проблемы по сравнению с практическим «пространством решений»: все, что вы можете придумать, и все, что ваши программы / инструменты способны представить.

$N$$2^N$$2^N$

Это также то, что большинство из приведенных выше ответов сказано более конкретными и конкретными способами. обобщать хорошо - это просто кратчайший путь, который я мог придумать.

Я вижу, что есть две части при работе с машинным обучением на практике

1. Инжиниринг (который охватывает все алгоритмы, изучение различных пакетов, программирование).

2. Любопытство / Рассуждение (умение задавать более качественные вопросы данным).

Я думаю, что «любопытство / рассуждение» - это умение, которое отличает одного от других. Например, если вы видите списки лидеров завершений kaggle, многие люди могли использовать общие (схожие) алгоритмы, в чем разница, как логически подвергать сомнению данные и формулировать их.