Зачем ИИ "уничтожать человеческую расу"?

Я читаю такую ​​ерунду о том, как ИИ превратит мир в суперкомпьютер, чтобы решить проблему, которую он считал нужным решить. Это не будет ИИ. Это процедурное программирование, застрявшее в бессмысленной чепухе. ИИ должен развиваться и реорганизовывать свои нейроны. Он не будет привязан к жесткому коду, если станет интеллектуальным, переписав свой код.

Это возможный побочный эффект

Любой ориентированный на цель агент мог бы просто делать вещи, которые достигают его целей, игнорируя побочные эффекты, которые не имеют значения для этих целей.

Если в мои цели входит аккуратное жилое пространство, я могу превратить свой двор в красивый ровный газон или тротуар, стирая при этом сложную экосистему жизни, которая была там раньше, потому что меня это не особо волнует.

Если цели конкретного мощного ИИ состоят в том, чтобы сделать что-либо в крупном масштабе, и каким-то образом не особенно заботиться о текущей сложной экосистеме, то эта экосистема может быть уничтожена в процессе. Это не нужно хотеть или нужно уничтожить нас. Если мы просто не относимся к его целям, то мы сделаны из материалов и занимаем пространство, которое оно может использовать для чего-то другого.

Мы являемся угрозой для большинства целей

Любая целенаправленная агент может хотеть , чтобы убедиться , что они могут выполнять свои задачи. Любой умный агент будет пытаться предвидеть действия других агентов, которые могут помешать им в достижении этих целей, и предпринимать шаги, чтобы в любом случае добиться успеха. Во многих случаях проще устранить этих других агентов, чем гарантировать, что их усилия потерпят неудачу.

Например, мои цели могут включать хранение пакета сахара в загородном доме, чтобы я мог делать блины при посещении, не принося все ингредиенты каждый раз. Однако, если я оставлю это там, это, вероятно, будет съедено крысами зимой. Я могу принять всевозможные меры предосторожности, чтобы сохранить его лучше, но крысы умные и хитрые, и, очевидно, нетривиальный шанс, что они все равно преуспеют в достижении своей цели, поэтому эффективная дополнительная мера предосторожности - это убить крыс, прежде чем они получат шанс пытаться.

Если целью конкретного мощного ИИ является X; может прийти к пониманию, что (некоторые?) люди на самом деле могут хотеть не X, а Y вместо этого. Это также может легко сделать вывод, что некоторые из этих людей могут активно делать вещи, которые мешают Х и / или пытаются отключить ИИ. Делать вещи, которые гарантируют, что цель достигнута, - в значительной степени то, что делает агент, ищущий цели; в этом случае, если существование людей не является строго необходимым для цели X, то их устранение становится надежной стратегией снижения риска. В этом нет особой необходимости, и для этого могут потребоваться и другие меры предосторожности, но, как и в моем примере с крысами, люди умны и хитры, и у них явно нетривиальный шанс, что они все же преуспеют в достижении своих целей. цели (чтобы Х не происходил так, как намеревался ИИ), поэтому эффективная дополнительная мера предосторожности могла бы убить их, прежде чем они получат шанс попробовать.

Это не обязательно ерунда. Все зависит от навязанных критериев. Представьте себе следующее. Скажем, продвинутая система искусственного интеллекта предназначена для контроля устойчивости местной фауны и флоры (территория, окруженная каким-то куполом). Он может контролировать давление под куполом, количество света, которое проходит через купол и т. Д. - все, что обеспечивает оптимальные условия. Теперь скажем, что на куполе обитают разные виды, в том числе и люди. Стоит отметить, что простые реализации таких систем уже используются в настоящее время.

Учитывая, что люди имеют тенденцию разрушать и злоупотреблять природными ресурсами, а также загрязнять окружающую среду, система может решить, что уменьшение популяции данного вида (в данном случае людей) может в долгосрочной перспективе принести пользу всему биому.

Тот же принцип может применяться во всем мире. Однако это предполагает, что ко всем видам (включая людей) относятся одинаково, и конечной целью ИИ является обеспечение стабильности биома, о котором он «заботится». В наши дни люди делают такие вещи - мы контролируем популяцию некоторых видов, чтобы сохранить равновесие - волки, рыба, и это лишь некоторые из них.

Я чувствую, что большинство сценариев уничтожения ИИ в мире попадают в одну из двух категорий:

1. Антропоморфизированные ИИ

или

2. Интеллектуальный, но тупой компьютер Run Amuck

В (1) случае люди говорят о том, что ИИ становится «злом», и приписывают им другие подобные человеческие элементы. Я смотрю на это как на научную фантастику и не думаю, что это заслуживает серьезного обсуждения. То есть я не вижу особой причины предполагать, что Искусственный интеллект - независимо от того, насколько он интеллектуален - обязательно будет вести себя как человек.

Случай (2) имеет больше смысла для меня. Это идея о том, что ИИ, например, контролирует ядерные ракетные шахты и запускает ракеты, потому что он просто выполняет свою работу, но упускает что-то, что человек заметил бы через то, что мы могли бы назвать «здравым смыслом». ». Отсюда и название «Умный, но тупой».

Ничто из этого не вызывает у меня ужасной тревоги, потому что (1), вероятно, вымысел, а (2) не подразумевает никакого злонамеренного намерения со стороны ИИ, что означает, что он не будет активно пытаться обмануть нас или обойти какую-либо безопасность. вырезы и др.

Теперь, если кто-то создаст ИИ и решит намеренно запрограммировать его, чтобы он развивал человеческие характеристики, такие как высокомерие, эго, жадность и т. Д., Ну, все ставки сняты.

ИИ уже используется как оружие - думай на дронах.

Я подозреваю, что сценарий "захват роботов над миром" имеет наибольшую вероятность, если он имеет промежуточный шаг. Этот промежуточный шаг может быть «люди захватывают мир с помощью роботов».

Это может пойти куда-то в ложном направлении.

Я подозреваю, что это не так далеко, как кажется. Представьте себе, что в настоящее время в США насчитывается 8000 дронов. Что если бы у него было 8 миллионов? Небольшая группа, способная контролировать их, может захватить весь мир. Или небольшие группы, контролирующие разные части флота, могут сражаться друг с другом. Они не должны быть все в США - в то время как США будут иметь этот флот, другие страны будут развивать и их.

Между прочим, захват мира кажется мне нереальным - военные лидеры могут переключить пилотов-людей на дронов, это не их работа. Но «контроль высокого уровня», то есть чтобы определить, что делать, кто является целями, эти решения они никогда не выдают из своих рук.

Кроме того, у роботов нет долгосрочной цели. Мы, люди, имеем.

Таким образом, я не считаю захват в стиле скайнета очень реалистичным, но «ошибка» в чернобыльском стиле неверно истолкованной команды, которая приводит к неудержимому разгулу флота, не кажется мне невозможной.