Есть ли веские аргументы в пользу того, что инстинкт выживания является предпосылкой для создания AGI?

11

Этот вопрос проистекает из довольно многих «неформальных» источников. Кинофильмы как 2001, Космическая Одиссея и Бывшая Машина ; такие книги, как Destination Void (Фрэнк Герберт) и другие, предполагают, что общий интеллект хочет выжить и даже понять важность для него.

Там может быть несколько аргументов для выживания. Что будет самым выдающимся?

agi

— Эрик Платон
источник

@DukeZhou Будете ли вы иметь публичные документы по этой теме?

— Эрик Платон

1

Пока нет. (Это будет долгий процесс, так как наш цикл разработки очень медленный. Мне также, вероятно, не следовало бы упоминать упомянутое AGI в этом контексте, потому что на самом деле я рассматриваю скорее обобщенную функцию полезности, которая снижает риск, а не супер-интеллект!) Хотел обновить вас, но, вероятно, лучше, если я удалю свой оригинальный комментарий за чрезмерную оптимизм / заблуждение в этом отношении.

— DukeZhou

1

По сути, я думал, что общая функция экономической полезности послужит хорошей основой для AGI, предоставляя основной мотив . (Идея состоит в том, что общий интеллект - это просто степень способностей: бесконечно расширяющийся набор проблем.) Это было бы связано с инстинктом выживания в том смысле, что автоматы стремятся к оптимальному принятию решений в контексте поддержания и улучшения своего состояния, (хотя и не до такой степени бессмысленной экспансии, которая может нанести вред ее «экосистеме») , где каждое решение в конечном итоге рассматривается как экономическое.

— DukeZhou

1

(если у вас есть «онлайн-площадка», где можно обсуждать эти темы, это было бы здорово - я думаю, что нас выгнали с этого сайта)

— Эрик Платон

6

Стив Омохудро написал статью под названием « Основные приводы ИИ», в которой объясняется, почему мы ожидаем, что ИИ с узкими целями найдет некоторые базовые, общие концепции как полезные для своих узких целей.

Например, ИИ, предназначенный для максимизации доходности на фондовом рынке, но чей дизайн не учитывает важность продолжения выживания, осознал бы, что его продолжительное выживание является ключевым компонентом максимизации доходности на фондовом рынке, и, таким образом, принял меры для поддержания своей работоспособности.

В общем, мы должны скептически относиться к «anthropomorphizing» AI и другой код, но кажется , что там есть основания ожидать этого запредельного «хорошо, люди ведут себя таким образом, поэтому он должен быть , как все разведки ведет себя.»

— Мэтью Грейвс
источник

1

Я предполагаю, что Омохудру использует «максимизировать доходность» в контексте минимакса, где смягчение негативных последствий является частью уравнения. С моей точки зрения, «выиграть еще выжить» является основным расширением минимакса в циклических играх.

— DukeZhou

5

Понятие «инстинкт выживания», вероятно, попадает в категорию того, что Марвин Мински назвал бы «чемоданами», то есть объединяет ряд связанных явлений в то, что на первый взгляд кажется единичным понятием.

Так что вполне возможно, что мы сможем создать механизмы, которые имеют вид некоего «жестко запрограммированного» инстинкта выживания, и при этом это никогда не фигурирует в качестве явного правила в проекте.

Посмотрите красивую небольшую книгу «Транспортные средства» нейроанатома Валентино Брайтенберга для убедительного повествования о том, как такие концепции «сверху вниз», как «инстинкт выживания», могут развиваться «снизу вверх».

Кроме того, попытка обеспечить, чтобы интеллектуальные артефакты уделяли слишком большое внимание их выживанию, может легко привести к убийству ада Killbot .

— NietzscheanAI
источник

2

Я отвечу, цитируя книгу «Миф о Сизифе» :

Есть только один действительно серьезный философский вопрос - самоубийство.

Так что, вероятно, нам нужна некоторая степень инстинкта выживания, если мы не хотим, чтобы наши AGI «заканчивали себя» (что бы это ни значило), всякий раз, когда они становятся экзистенциальными.

— кс сайз 'кс сайз'
источник