Вот некоторые проблемы, которые возникли у моего обезьяньего ума.
1. Умный! = Всезнающий
Взрыв самосовершенствования ИИ делает его умнее и умнее. Быть умнее не значит знать больше фактов. Я полагаю, это довольно придирчивый аргумент, но я думаю, стоит подумать.
Очень умный доктор, который не знает вашей истории, все же может сделать худший выбор, чем менее умный, с лучшими данными.
2. Это все для людей? Это для всех людей?
ASI, которая достигает более высокого уровня, не может быть заинтересована в нашем благополучии.
Контролируемый ASI все еще мог бы работать только на пользу немногих, если эти немногие решают неправильные цели, мы можем пойти назад.
3 суровых ASI
Научный ум не обязательно полон сочувствия или сочувствия.
4. Быть умным и не быть умным
Великие умы все еще допускают ошибки: * в постановке своих целей и * в выполнении плана по ее достижению.
Большой интеллект не гарантирует отсутствие близорукости или слепых зон.
5. Пределы
Если существуют границы существования (пределы типа скорости света), то ИИ будет связан с ними. Это может означать, что есть вещи, которые даже ASI не «получит». Кроме того, поскольку наш разум может иметь ограничения, основанные на его структуре, у следующего ИИ также могут быть ограничения - и даже если он улучшается, uppn может достигать ограничений, которые он не может найти решения, потому что он «слишком глуп».
6. Мы не получим это
Понимание ASI определенных аспектов мира может не быть общительным для большинства людей. Мы просто не получим это (даже если мы способны понять все, это не значит, что мы поймем это).
7. Как это использовать?
Мы можем уничтожить себя, и ИИ с помощью технологий, которые он помогает нам создавать. Это не должно быть бомбы. Это может быть геоинженерия или чудо-наркотики.
Это особенно интенсивно, когда ASI уже мощен, но недостаточно силен, чтобы предвидеть негативные последствия (или мы просто проигнорируем это в любом случае).