Какие ограничения, если таковые имеются, ставит проблема остановки на искусственный интеллект?

Учитывая доказанную проблему остановки для машин Тьюринга , можем ли мы определить пределы способности сильного искусственного интеллекта?

Означает ли проблема остановки какие-либо ограничения человеческого познания?

Да, абсолютно - что есть кусочки кода, на которые человек мог бы взглянуть и не быть уверенным, остановится ли он в конечное время. (Конечно, есть фрагменты кода, на которые человек может посмотреть и сказать «да» или «нет», но мы говорим о тех, которые на самом деле довольно сложно анализировать.)

Проблема остановки означает, что существуют типы анализа кода, которые не может выполнить ни один компьютер, поскольку это математически невозможно. Но область возможностей все еще достаточно велика, чтобы позволить сильный искусственный интеллект (в смысле кода, который может достаточно хорошо понимать себя, чтобы улучшать себя).

Проблема остановки является примером общего явления, известного как неразрешимость , который показывает, что существуют проблемы, которые машина Тьюринга не может решить за конечное время. Давайте рассмотрим обобщение, что неразрешимо, удовлетворяет ли машина Тьюринга некоторому нетривиальному свойству P, называемому теоремой Райса .

Прежде всего обратите внимание, что проблема остановки применяется только в том случае, если машина Тьюринга принимает произвольно длинный ввод. Если вход ограничен, можно перечислить все возможные случаи, и проблема больше не является неразрешимой. Возможно, все еще неэффективно рассчитывать его, но затем мы переходим к теории сложности, которая должна быть отдельным вопросом.

Теорема Райса подразумевает, что интеллект (человек) не может быть в состоянии определить, обладает ли другой интеллект (такой как AGI) определенным свойством, таким как дружелюбие . Это не означает, что мы не можем разработать дружественный AGI, но это означает, что мы не можем проверить, является ли произвольный AGI дружественным. Таким образом, хотя мы можем создать ИИ, который гарантированно будет дружественным, мы также должны гарантировать, что ИТ не может создать еще один ИИ, который является недружественным.