Каковы математические предпосылки для исследователя ИИ?

Каковы математические предпосылки для понимания основной части алгоритмов в искусственном интеллекте и разработки собственного алгоритма?

Пожалуйста, отошлите мне конкретные книги.

Фонд хорошей математики

Начните с обеспечения полной компетенции с промежуточной алгеброй и некоторыми другими основами исчисления и дискретной математики, включая терминологию и основные понятия в этих темах.

• Бесконечная серия
• Логические доказательства
• Линейная алгебра и матрицы
• Аналитическая геометрия, особенно различие между локальными и глобальными крайностями (минимумы и максимумы), седловыми точками и точками перегиба
• Теория множеств
• Вероятность
• Статистика

Основы кибернетики

Норберт Винер, Кибернетика, 1948, MIT Press, содержит временные ряды и концепции обратной связи с ясностью и командованием, не замеченными в последующих работах; он также содержит введение в теорию информации, начиная с формулы ₂ Шеннона для определения количества информации в бите. Это важно для понимания расширения концепции информационной энтропии.

Исчисление

Найдите хорошую книгу по исчислению и убедитесь, что у вас есть четкое представление о теории ключевых слов и их применении в этих категориях.

• Временная последовательность
• Бесконечная серия
• Конвергенция - искусственные сети идеально сходятся к оптимальным в процессе обучения.
• Частичные дифференциалы
• Якобианские и гессенские матрицы
• Многомерная математика
• Пограничные регионы
• Дискретная математика

Многое из этого находится в исчислении , Strang, MIT, Wellesley-Cambridge Press . Хотя PDF-файл доступен в Интернете, он является базовым и не очень глубоким. В библиотеке нашей лаборатории есть « Промежуточное исчисление» , Hurley, Holt Rinehart & Winston, 1980 . Он всеобъемлющий и в некоторых отношениях лучше изложен, чем тот, который у меня есть в моей домашней библиотеке, который Принстон использует для второкурсников.

Убедитесь, что вам удобно работать в помещениях за пределами ℝ ² (за пределами 2D). Например, RNN часто находятся в таких местах, как ℝ ⁴ thorgh ℝ ⁷ из-за горизонтального, вертикального, глубины пикселя и размеров кадра фильма.

Конечно математика

К сожалению, ни одна из трех книг, о которых я могу подумать, не имеет всего этого.

• Направленные графы - изучите это ДО деревьев или контуров (искусственных сетей), потому что это топология надмножества всех этих конфигураций
• Деревья абстрактных символов (ASTs)
• Продвинутая теория множеств
• Деревья решений
• Марковские цепи
• Теория хаоса (особенно разница между случайным и псевдослучайным)
• Теория игр, начиная с фон Неймана и теории игр Моргенштерна , оригинальной работы в этой области
• Сходимость в дискретных системах, особенно применение теории для насыщения сигнала в целочисленной, фиксированной или арифметике с плавающей точкой
• Статистические средние, отклонения, корреляция и более прогрессивные понятия энтропии, относительной энтропии и перекрестной энтропии
• Кривая примерка
• свертка
• Вероятность, особенно теорема Байеса
• Алгоритмическая теория (теоремы Гёделя о неопределенности и полнота Тьюринга)

Химия и Неврология

Хорошо вспомнить химическое равновесие из химии средней школы. Баланс играет ключевую роль в более сложных дизайнах ИИ. Понимание симбиотических отношений между порождающими и дискриминационными моделями в GAN поможет ученику углубить это понимание.

Контрольные функции в биологических системах остаются основным источником доказательств концепции в исследованиях искусственного интеллекта. По мере того, как исследователи становятся более креативными в представлении форм адаптации, которые непосредственно не имитируют какой-либо аспект биологии (на момент написания этой статьи еще далеко), креативность может играть более значительную роль в формулировке целей исследования ИИ.

Несмотря на это, ИИ, вероятно, останется в основном междисциплинарной областью.

Я работаю профессором и недавно разработал требования по математике для нового специалиста по ИИ, консультируясь со многими моими коллегами из других учреждений.

Другие ответы, особенно @ FauChrisian's, хорошо каталогизируют все конкретные темы, которые могут быть полезны где-то в AI, но не все из них одинаково полезны для понимания основных тем. В других случаях понимание темы, по сути, аналогично пониманию связанных алгоритмов ИИ, поэтому мы обычно просто учим их вместе, а не предполагаем предварительные знания. Например, процессы принятия решений Маркова несложно научить тому, кто уже знает основы теории графов и вероятностей, поэтому мы обычно просто покрываем их, когда преподаем обучение с подкреплением в курсе ИИ, а не как отдельную тему по математике. курс.

Математические требования, на которых мы остановились, выглядят так:

• Один или два семестра курса по дискретной математике. Это так же важно, чтобы обеспечить удобство с доказательством и математической строгостью, как и с любой конкретной темой в этой области. В основном это просто «фундаментальные» знания, но их кусочки оказываются очень полезными. Комфорт с бесконечным суммированием, основы графов, комбинаторика и асимптотический анализ, возможно, являются наиболее применимыми частями. Мне нравится книга Сюзанны Эпп .

  • Один или два семестровых курса по линейной алгебре, которые полезны по широкому кругу тем в области искусственного интеллекта, особенно машинного обучения и интеллектуального анализа данных. Lay & Lay - хорошая книга, но, вероятно, не самая лучшая. Шилов - это рекомендация Яна Гудфеллоу и других, но я сам не пробовал.

  • Курс по вероятности и, возможно, современный курс по статистике (т.е. с байесовским фокусом). Однако более старый курс статистики или ориентированный на социологов не очень полезен. Мои коллеги-статистики используют Lock5 прямо сейчас и имеют хороший опыт работы с ним.

  • По крайней мере, дифференциальное и интегральное исчисление, и предпочтительно, по крайней мере, частные производные в векторном исчислении, но, возможно, весь курс. Это полезно для оптимизации, машинного обучения и экономических подходов к ИИ. Стюарт - самый распространенный учебник. Он всеобъемлющий и может использоваться для всех трех курсов, но его объяснения не всегда самые лучшие. Я все еще рекомендую это все же.

Это основные темы. Если у вас также нет традиционных знаний в программировании, то хорошим дополнением могут стать курсы по теории графов и основам асимптотической сложности или разработке и анализу алгоритмов. Обычно ИИ происходят из стандартного компьютерного фона, который очень хорошо охватывает все эти вещи.

Что касается простых алгоритмов, таких как Gradient Descent, вам нужно хорошо разбираться в частных производных. Особенно, если вы хотите реализовать нейронные сети. Кроме того, большинство алгоритмов векторизованы для повышения скорости вычислений, поэтому вам нужно быть уверенным в математике. Это подразумевает очень быструю и удобную работу с размерами матриц, размерами продуктов, умножением матриц, транспонированием и так далее. Очень редко вы можете использовать матричное исчисление для непосредственного достижения оптимальных решений, поэтому следует сделать несколько результатов из этой области. Двигаясь дальше, вы должны понимать некоторые функции анализа. это необходимо, чтобы понять, что делают такие функции активации, как sigmoid и tanh, log. Знание вероятностей и ожиданий также действительно полезно. Вы также должны быть ясны с ортогональными векторами и внутренними произведениями.

При этом я бы посоветовал вам освоить базовые исчисления и матричные операции и попробовать изучить концепции ИИ. Если вы не можете понять что-то, изучите математику.

Примечание: опять же, это только для запуска.