Почему ML стал жизнеспособным только после появления чипов Nvidia?

Я слушал доклад группы, состоящей из двух влиятельных китайских ученых: Ван Гана и Ю Кая и других.

Отвечая на вопрос о самом большом узком месте развития искусственного интеллекта в ближайшем будущем (от 3 до 5 лет), Ю Кай, который имеет опыт работы в области аппаратного обеспечения, сказал, что аппаратное обеспечение будет существенной проблемой, и мы должны заплатить большую часть наше внимание к этому. Он привел нам два примера:

1. В начале разработки компьютера мы сравнивали наши машины по чипам;
2. Искусственный интеллект, который очень популярен в эти годы, был бы почти невозможен, если бы не усиливалась графическим процессором Nvidia.

Фундаментальные алгоритмы существовали уже в 1980-х и 1990-х годах, но искусственный интеллект пережил 3 зимы ИИ и не был эмпирическим, пока мы не сможем обучать модели с мегасерверами, усиленными GPU.

Затем доктор Ван прокомментировал свое мнение о том, что мы должны также разрабатывать программные системы, потому что мы не можем создать автоматическую машину, даже если мы объединили все графические процессоры и вычисления в мире вместе.

Затем, как обычно, мой разум отвлекся, и я начал думать, что, если бы те, кто мог управлять суперкомпьютерами в 1980-х и 1990-х годах, использовали существующие тогда алгоритмы нейронных сетей и обучали их множеству научных данных? Некоторые люди в то время, очевидно, могут пытаться создавать системы искусственного интеллекта, которые мы строим сейчас. Но почему ИИ стал горячей темой и стал эмпирическим до десятилетий спустя? Это только вопрос оборудования, программного обеспечения и данных?

Есть много факторов для бума индустрии искусственного интеллекта. Хотя многие упускают из виду, что бум в основном происходил в области машинного обучения ИИ. Это может быть связано с различными простыми причинами и их сравнениями в более ранние времена:

• Математика. Математика, лежащая в основе алгоритмов ML, довольно проста и известна в течение длительного времени (хотя неизвестно, сработает она или нет). В прежние времена было невозможно реализовать алгоритмы, которые требуют высокой точности чисел, рассчитываемых на чипе, за приемлемое количество времени. Одна из основных арифметических операций деления чисел по-прежнему занимает много циклов в современных процессорах. Старые процессоры были в разы медленнее современных процессоров (более чем в 100 раз), это узкое место сделало невозможным обучение сложных моделей на современных процессорах.
• $1$$0$
• Распараллеливание : концепция распараллеливания матричных операций не нова. Только когда мы начали рассматривать Deep Learning как набор матричных операций, мы поняли, что его можно легко распараллелить на массивно-параллельных графических процессорах, но если ваш алгоритм ML не является параллельным по своей природе, то вряд ли имеет значение, используете ли вы CPU или GPU ( например RNN's).
• Данные : Вероятно, самая главная причина бума ML. Интернет предоставил возможность собирать огромные объемы данных от пользователей, а также предоставлять их заинтересованным сторонам. Поскольку алгоритм ML - это просто аппроксиматор функции на основе данных, следовательно, данные - это самая важная вещь в алгоритме ML. Чем больше данных, тем выше производительность вашей модели.
• Стоимость : стоимость обучения модели ML значительно снизилась. Так что использовать суперкомпьютер для обучения модели может быть хорошо, но стоило ли оно того? Суперкомпьютеры, в отличие от обычных ПК, чрезвычайно жадны до ресурсов с точки зрения охлаждения, места и т. Д. Недавняя статьяна Технологическом обзоре MIT указывает на углеродный след обучения модели глубокого обучения (подразделение ML). Это довольно хороший показатель того, почему раньше было невозможно тренироваться на суперкомпьютерах (учитывая, что современные процессоры потребляют гораздо меньше энергии и дают более высокие скорости). Хотя я не уверен, но думаю, что более ранние суперкомпьютеры специализировались на «параллельных + очень высокоточных вычислениях» (необходимых для погоды, астрономии, военных приложений и т. Д.), И «очень высокая точность» в сценарии машинного обучения избыточна.

Еще один важный аспект - в настоящее время каждый человек имеет доступ к мощным компьютерам. Таким образом, любой может построить новые модели ML, переобучить уже существующие модели, модифицировать модели и т. Д. Это было совсем невозможно в прежние времена,

Все эти факторы привели к огромному росту интереса к ОД и вызвали бум, который мы наблюдаем сегодня. Также проверьте этот вопрос о том, как мы выходим за пределы цифровых процессоров.

Графические процессоры были идеальными для бума искусственного интеллекта, потому что

• Они попали в нужное время

ИИ был исследован в течение долгого времени. Почти полвека. Однако это было все исследование того, как алгоритмы будут работать и выглядеть. Когда NV увидела, что ИИ собирается стать мейнстримом, они посмотрели на свои графические процессоры и поняли, что огромная вычислительная мощность parellel, с относительной простотой программирования, идеальна для предстоящей эпохи. Многие другие тоже это поняли.

• GPU являются своего рода ускорителями общего назначения

GPGPU - это концепция параллельной обработки GPU для общих задач. Вы можете ускорить графику или сделать свой алгоритм более 1000 ядер доступным на GPU. Это делает GPU отличной целью для всех видов использования, включая AI. Учитывая, что они уже доступны и не слишком сложны для программирования, это идеальный выбор для ускорения алгоритмов ИИ.