Сингулярность в контексте ИИ является теоретическим событием, в результате которого используется интеллектуальная система со следующими критериями.
- Способный улучшить диапазон собственного интеллекта или развернуть другую систему с таким улучшенным диапазоном
- Готов или вынужден сделать это
- Возможность сделать это при отсутствии человеческого контроля
- Улучшенная версия поддерживает критерии (1) - (3) рекурсивно
По индукции теория затем предсказывает, что будет генерироваться последовательность событий с потенциальной скоростью увеличения интеллекта, которая может значительно превышать потенциальную скорость эволюции мозга.
Насколько обязан этот самосовершенствующийся субъект или популяция потомственных существ сохранять человеческую жизнь и свободу, неопределенно. Идея о том, что такое обязательство может быть частью безотзывного договора на программное обеспечение, наивна в свете характера возможностей, связанных с критериями (1) - (4) выше. Как и в случае с другими мощными технологиями, риски столь же многочисленны и серьезны, как и потенциальные выгоды.
Риски для человечества не требуют интеллекта. Существуют и другие контексты использования термина «сингулярность», но они выходят за рамки этого форума по искусственному интеллекту, но для ясности могут стоить краткого упоминания. Генная инженерия, ядерная инженерия, глобализация и основание международной экономики на конечном источнике энергии, потребляемом в тысячи раз быстрее, чем это происходило на Земле. Это другие примеры технологий и массовых тенденций высокого риска, которые представляют как риски, так и выгоды человечеству.
Возвращаясь к ИИ, главная оговорка в теории сингулярности заключается в том, что она не учитывает вероятность. Хотя может быть возможно разработать объект, который соответствует критериям (1) - (4) выше, он может быть достаточно маловероятным, чтобы первое событие произошло спустя много времени после того, как все текущие языки, на которых говорят на Земле, мертвы.
С другой стороны, можно легко утверждать, что существует ненулевая вероятность того, что первое событие уже произошло.
В том же духе, если более разумное присутствие в Интернете уже существует, насколько вероятно, что он найдет в своих интересах раскрыть себя для низших людей. Мы представляем себя проходящему личинку?