В какой степени «продвинутая математика» необходима / полезна в исследованиях ИИ?

В настоящее время я изучаю математику. Однако я не думаю, что хочу стать профессиональным математиком в будущем. Я подумываю применить свои знания математики для исследований в области искусственного интеллекта. Однако я не уверен, сколько курсов по математике мне следует пройти. (И каким курсам по теории КС я должен следовать.)

Из Quora я узнал, что предметы линейной алгебры, статистики и выпуклой оптимизации наиболее актуальны для машинного обучения (см. Этот вопрос). Кто-то еще упомянул, что изучение линейной алгебры, вероятности / статистики, исчисления, базовых алгоритмов и логики необходимо для изучения искусственного интеллекта (см. Этот вопрос).

Я могу узнать обо всех этих предметах в течение первых полутора лет обучения математике в нашем университете.

Мне было интересно, хотя, есть ли некоторые старшекурсники даже по математике уровня магистратуры, которые полезны или даже необходимы для изучения искусственного интеллекта. Как насчет ODE, PDE, топологии, теории мер, линейного анализа, анализа Фурье и анализа на многообразиях?

Одной из книг, которая предполагает, что для изучения искусственного интеллекта полезна некоторая достаточно продвинутая математика, является « Теория паттернов: стохастический анализ сигналов реального мира » Дэвида Мамфорда и Агнес Дезольнё (см. Эту страницу). Он включает главы о цепях Маркова, кусочно-гауссовых моделях, полях Гиббса, многообразиях, группах Ли и алгебрах Ли и их приложениях к теории образов. Насколько эта книга полезна в исследованиях ИИ?

Я не хочу звучать снисходительно, но математика, которую вы изучаете на курсах бакалавриата и даже магистратуры, не продвинута. Это основы . Название вашего вопроса должно звучать так: Нужна ли / полезна ли «базовая» математика в исследованиях ИИ? Таким образом, сожрать столько, сколько вы можете, я никогда не встречал ученого, который жаловался на знание слишком большого количества математики, хотя я встречал многих, кто жаловался на то, что они не знали этого достаточно. Я помню, как помогал своему аспиранту в ИИ понять алгоритм в стиле ранга страницы. Для меня это была просто какая-то довольно простая линейная алгебра, но он страдал, потому что не знал, что такое собственные значения и собственные векторы. Представьте, что могли бы сделать люди ИИ, если бы они действительно знали много математики!

Я преподаю на математическом факультете и регулярно получаю запросы от моих коллег по CS, чтобы они рекомендовали основные предметы по математике для кандидатов наук, потому что они предпочитают студентов по математике. Видите ли, математику очень трудно выучить самостоятельно, но большинство аспектов информатики - нет. Я знаю, я был математиком, который поступил в аспирантуру CS. Конечно, я был «позади» в знании операционных систем (несмотря на то, что имел приличные знания Unix и VMS), но я был далеко впереди в «теории». Это не симметричная ситуация.

Макс, вот (обязательно) частичный список:

Базовая линейная алгебра и вероятность необходимы повсеместно. Я полагаю, вам не нужны ссылки для этого.

Насколько мне известно, анализ Фурье был использован в некоторых исследованиях, связанных с теорией обучения. Проверьте эту бумагу , например.

Концепция коллективного обучения становится популярной, и вы можете начать смотреть на работы Михаила Белкина и Партхи Нийоги. Это направление работы требует понимания различных концепций, связанных с многообразиями и римановой геометрией.

Есть еще один аспект машинного обучения, который имеет более глубокие корни в статистике, а именно, информационная геометрия. Эта область связана с различными понятиями римановой геометрии, теории информации, информации Фишера и т. Д. Кузина такого рода исследований может быть найдена в алгебраической статистике, которая представляет собой возникающую область с большим потенциалом.

Сумио Ватанабе, исследовал другую границу, а именно, существование особенностей в моделях обучения и как применять глубокие результаты разрешений из алгебраической геометрии для решения многих вопросов. Результаты Ватанабэ в значительной степени основаны на знаменитой работе Хейсуке Хиронаки, которая принесла ему медаль Филдса.

Я предполагаю, что я опускаю много других областей, которые требуют относительно тяжелой математики. Но, как отметил Андрей, большинство из них, вероятно, не лежат на границах математики, а являются относительно более старой и устоявшейся областью.

В любом случае, однако, я полагаю, что нынешнее состояние ИИ, которое вошло в массовые вычисления, такие как системы рекомендаций в Amazon или библиотеки машинного обучения, найденные в Apache Mahout, не требуют какой-либо сложной математики. Я могу ошибаться

Зависит от вашего определения продвинутого, и какой ИИ вы хотите изучать.

Многие проблемы в ИИ доказуемо трудноразрешимы - оптимальные решения POMDP доказуемо NP-завершены, оптимальные решения DEC-POMDP доказуемо NEXP-завершены и т. Д. Таким образом, в отсутствие некоторого неожиданного прорыва в теории сложности, чем больше известно об алгоритмах аппроксимации и их теоретические основы, тем лучше. (В дополнение к теории меры и т. Д. Необходимо было по-настоящему понять байесовскую вероятность, лежащую в основе модели POMDP.)

Многоагентный искусственный интеллект, в частности, пересекается с теорией игр; поэтому знание теории игр полезно, что, в свою очередь, зависит от топологии, теории мер и т. д. И также многие проблемы в теории игр неразрешимы. Некоторые из них даже трудно поддаются аппроксимации, и даже понимание того, что можно с пользой приблизиться, требует значительных математических усилий.

(Я отмечаю, что теоретики игр в течение последних нескольких лет довольно неплохо работали в области Нобелевской экономики, и это в значительной степени математический характер. Я предсказываю, что через двадцать с лишним лет теоретики современных алгоритмических игр будут примерно такими же позиция.)

Математика, участвующая в искусственном интеллекте, не продвинута, и преподается на уровне старшекурсника. Алгоритмы обучения и вывода искусственного интеллекта находятся в области передовых компьютерных наук.

Это немного словесная игра. Некоторая история также должна быть включена в исследование ИИ.

Например, в текущей номенклатуре Deep Learning, похоже, является ключевым трендом в AI.

Глубокое обучение - это то, что раньше называлось искусственными нейронными сетями (ANN), такими как модель обратного распространения перцептрона в сети Хинтона (BACKPROP) и тому подобное.

Математика, связанная с ANN BACKPROP (например), по сути является производным исчислением для обучения и матричной алгеброй для вывода.

Новый аспект глубокого обучения - физическое разделение алгоритмов обучения и логического вывода. Процессоры все еще используются для обучения, но теперь графические процессоры используются для вывода.

Например, матрицы ANN обучаются (взвешиваются) путем обратного распространения ошибок с использованием исчисления корректирующих производных. Это лучше всего подходит для процессоров и должно выполняться только один раз за развертывание ANN.

Затем ANN развертывается в высокопараллельной архитектуре графического процессора. Математика прямого вывода включает в себя интенсивную матричную алгебру, для которой предназначены графические процессоры.

Это повышает производительность развернутой сети ANN на несколько порядков по сравнению с предыдущими развертываниями на базе ЦП и может быть более эффективно масштабировано для любого количества выделенных графических процессоров.

Такие компании, как Nvidia и AMD, в настоящее время продвигают чипсеты очень высокого класса для GPU как Deep Learning Machines. Термин GPU всегда был немного неправильным, поскольку они на самом деле являются параллельными процессорами общего назначения. Например, графические процессоры также иногда называют Bitminers в приложениях цепочки блоков.

То, что было старым, теперь новое. Математика не изменилась, только терминология компьютерных наук (в основном из-за давления маркетинга).

Термин ИИ всегда считался чем-то вроде темной лошади. Глубокое обучение теперь является политически корректным и дружественным рынку термином.

ИИ - удивительно широкое поле с широким спектром возможных маршрутов. Некоторые чрезвычайно математичны, некоторые едва касаются математики. Другие уже дали хорошие ответы на более математические подходы. Из предметов, которые вы указали

«Линейная алгебра, вероятность / статистика, исчисление, основные алгоритмы и логика»

-Вы действительно нуждаетесь или будете пользоваться всеми из них. Многие подходы по крайней мере частично напрямую основаны на вероятности и статистике - эвристика, нейронные сети, генетические алгоритмы, нечеткая логика. Исчисление одинаково полезно - в искусственном интеллекте или в общей вычислительной науке вы найдете его почти везде. Линейная алгебра - это то, что вам определенно нужно.

Двумя наиболее важными предметами с точки зрения CS / AI являются алгоритмы и логика, алгоритмы являются настоящим сердцем вычислительной науки, а логика является базовым «языком» алгоритмов. Ключом к обучению алгоритмов является обучение программированию, мастерство а практика базового программирования - одна из важнейших основ почти всех предметов информатики или искусственного интеллекта. Программирование также является навыком, который университеты не всегда особенно хороши в преподавании. Логика также очень важна для большинства отраслей ИИ; Булева логика, исчисление предикатов, символическая логика, основополагающие теории перестановок, иерархия проектирования, рекурсия, конечные автоматы, машины Тьюринга, проектирование ЦП и т. Д. Здесь мы действительно отходим от математики к компьютерной науке.

Расширение моей области математики «Сильный ИИ» играет основную, но абсолютно важную роль. Очень хорошее понимание основ математики, вероятно, важнее, чем высшая математика, но на самом деле все, что вы берете, может быть полезным. Настоящая проблема в зарождающемся поле, таком как Сильный ИИ, заключается в том, что все находится в воздухе, и поэтому поле находится в постоянном движении.
В число потенциально полезных предметов входят нейронные сети, генетические алгоритмы, неврология, генетика, психология, кибернетика и робототехника, теория трехмерной графики, теория обработки изображений, дизайн компьютерных игр, философия, теория искусства, цифровая электроника, теория лингвистики. В области Как это чтение является одним из самых важных способов обучения. Пара книг, которые послужили для меня отправной точкой, были - «Императоры нового разума» Роджера Пенроуза, «Глаз и мозг» Р.Л. Грегори, но на самом деле идеи могут прийти практически из любого места