Математический фон для нейронных сетей

Не уверен, подходит ли это для этого сайта, но я начинаю свою MSE в области компьютерных наук (бакалавр прикладной математики) и хочу получить сильный опыт в машинном обучении (я, скорее всего, собираюсь получить докторскую степень). Один из моих подчиненных интересов - нейронные сети.

Что такое хороший математический фон для ANN? Как и в других областях машинного обучения, я предполагаю, что линейная алгебра важна, но какие другие области математики важны?

Я планирую читать « Нейронные сети: систематическое введение» или « Нейронные сети для распознавания образов» . У кого-нибудь есть какие-либо предложения или альтернативные рекомендации?

Вторая ссылка, которую вы даете, на мой взгляд, все еще является лучшей книгой по NN, хотя она может быть немного устаревшей и не имеет отношения к более поздним разработкам, таким как глубокие архитектуры. Вы освоите основы и познакомитесь со всеми основными понятиями, касающимися машинного обучения.

Если вы изучите книгу, вам понадобится линейная алгебра, многомерное исчисление и основные понятия статистики (условные вероятности, теорема Байеса и знание биномиальных распределений). В некоторых случаях это имеет дело с вариационным исчислением. Приложений по вариационному исчислению должно быть достаточно.

Математический компонент, вероятно, будет включать в себя продвинутую алгебру, триг, линейную алгебру и исчисление как минимум.

Но и мыслить нестандартно. Хорошие навыки программирования также необходимы, включая прочную основу в алгоритмах (у Coursera есть два курса по алгоритмам) и знание MatLab, Octave или R (и с гибким языком программирования, таким как Java, C / C ++ или Python). Я упоминаю об этом в ответ на ваш вопрос, потому что, на мой взгляд, они являются более «прикладными математическими» навыками и имеют фундаментальное значение для перевода между теорией и прикладными реализациями.

Я прошел ряд курсов Coursera, связанных с машинным обучением (и согласен с еще одним постером, что машинное обучение профессора Нг - это фантастика) и NN. Несколько месяцев назад Coursera организовала курс нейронных сетей (не уверен, что он все еще доступен) в Университете Торонто и Джеффри Хинтона. Отличный курс и требует: знание исчисления, владение Octave (клон с открытым исходным кодом, похожий на MatLab-подобный), хороший алгоритмический дизайн (для масштабируемости) и линейная алгебра.

Вы также можете (хотя и не математику как таковую) подумать о таких темах, как обработка естественного языка (для извлечения признаков и т. Д.), Поиск информации, статистика / теория вероятностей, а также другие области машинного обучения (чтобы получить больше теории). Недавние тексты, такие как «Основы машинного обучения» (Mohri) или «Введение в машинное обучение» (Alpaydin), могут быть полезны для преодоления сложности теории и реализации (на мой взгляд, это может быть серьезным скачком) - и то, и другое тексты очень тяжелые математические, особенно основы.

Опять же, я думаю, что все относятся к математике и NN, но в более широком смысле.

Смотрите: http://www.quora.com/Career-Advice/How-do-I-become-a-data-scientist Второй ответ. Довольно полная дорожная карта.

Постепенное введение в машинное обучение: следуйте этому прекрасному курсу «Машинное обучение 101» Эндрю Нг из Стэнфорда. Разве я это круто?

https://www.coursera.org/course/ml

Очень хорошая книга (на самом деле не вводная, но не предполагающая предварительных знаний в нейронных сетях) - это Брайан Рипли: «Распознавание образов и нейронные сети», в которой, я бы сказал, содержатся многие из ее предварительных положений. С бакалавром в прикладной математике вы должны быть готовы.

ОСНОВНАЯ тема - статистика

многовариантное исчисление

числовая линейная алгебра (разреженные матрицы и т. д.) численная оптимизация (градиентный спуск и т. д., квадратичное программирование)

Возможно, вы захотите прочитать о гауссовских процессах и математиках, которые там требуются, попробуйте сделать некоторые классы обработки изображений / обработки естественного языка