Искусственный интеллект уязвим для взлома?

27

В статье «Ограничения глубокого обучения в условиях состязательности» рассматривается, как нейронные сети могут быть повреждены злоумышленником, который может манипулировать набором данных, с которым обучается нейронная сеть. Авторы экспериментируют с нейронной сетью, предназначенной для чтения рукописных цифр, подрывая ее способность к чтению, искажая образцы рукописных цифр, с которыми обучается нейронная сеть.

Я обеспокоен тем, что злоумышленники могут попытаться взломать ИИ. Например

Обманывают автономные транспортные средства, чтобы неправильно истолковать знаки остановки и ограничение скорости.
Обход распознавания лиц, например, для банкомата.
Обход спам-фильтров.
Обманчивый анализ настроений обзоров фильмов, отелей и т. Д
В обход двигателей обнаружения аномалий.
Поддельные голосовые команды.
Неправильная классификация прогнозов на основе машинного обучения.

Какой эффект состязания может разрушить мир? Как мы можем предотвратить это?

— Surya Sg
источник

6

Учтите, что человеческий интеллект уязвим для взлома

— Гай

Интересный. Вы интересуетесь «моделями риска для конфликтных ситуаций» или чем-то ближе к традиционному ответу о кибербезопасности, но все же прямо об ИИ? С наилучшими пожеланиями.

— Тавтологические Откровения

19

ИИ, с моей точки зрения, уязвим с двух сторон:

Классический метод использования явных программных ошибок для достижения какого-либо выполнения кода на компьютере, на котором запущен AI, или для извлечения данных.
Хитрость через эквивалент оптических иллюзий ИИ для конкретной формы данных, с которой система предназначена для работы.

Первое должно быть смягчено так же, как и любое другое программное обеспечение. Я не уверен, что ИИ более уязвим на этом фронте, чем другое программное обеспечение, и я склонен думать, что сложность может немного увеличить риск.

Второе, вероятно, лучше всего смягчается как тщательной доработкой системы, как отмечено в некоторых других ответах, так и тем, что она делает систему более контекстно-зависимой; Многие противоборствующие методы основаны на оценке в вакууме.

— Кристофер Гриффит
источник

1

Раскол между уязвимостями кода и уязвимостями использования - это хорошо. Тем не менее, уязвимости кода, как правило, незначительны в ИИ. Сложность ИИ заключается в данных, будь то вес узлов в нейронной сети или деревья в случайном лесу. Есть только небольшой кусочек кода для питания ИИ, и главный риск заключается в том, чтобы его не перекармливать - классический риск переполнения буфера, который легко смягчается методами конца 20-го века.

— MSalters

@MSalters Я думаю, что трудно сделать общий вывод, потому что сложность кода может сильно различаться у разных типов агентов ИИ (я думаю, что ваш комментарий в значительной степени точен для нейронных сетей). Кроме того, хотя данные и манипулирование ими, вероятно, представляют собой большую площадь атаки, было бы неразумно игнорировать тот же тип атак, которые в прошлом позволяли выполнять удаленное выполнение кода через скомпрометированные файлы изображений, которые использовали недостатки в приложениях для просмотра изображений. Вектор - это данные, которые передаются, но поведение все еще подпадает под заголовок уязвимости кода, я думаю.

— Кристофер Гриффит

7

Программист против Программиста

Это «бесконечная война»: программисты против программистов. Все может быть взломано. Профилактика связана с уровнем знаний профессионала, отвечающего за безопасность, и программистов в области безопасности приложений.

Например, есть несколько способов идентифицировать пользователя, пытающегося испортить показатели, сгенерированные с помощью Sentiment Analysis, но также есть способы обойти эти шаги. Это довольно скучный бой.

Агент против Агента

Интересный момент, который поднял @DukeZhou, - это эволюция этой войны с участием двух искусственных интеллектов (агентов). В этом случае битва является одной из самых знающих. Знаете, какая модель лучше подготовлена?

Тем не менее, для достижения совершенства в вопросе уязвимости искусственный интеллект или искусственный супер-интеллект превосходят возможности обойти человека. Как будто знания о всех взломах по сей день уже существовали в сознании этого агента, и он начал разрабатывать новые способы обхода собственной системы и развития защиты. Сложный, верно?

Я считаю, что трудно иметь ИИ, который думает: «Будет ли человек использовать фотографию вместо того, чтобы идентифицировать свое лицо?»

Как мы можем предотвратить это

Всегда иметь человека, контролирующего машину, и все же она не будет на 100% эффективной. Это игнорирует возможность того, что агент может улучшить свою собственную модель в одиночку.

Вывод

Поэтому я думаю, что сценарий работает следующим образом: программист пытается обойти проверки ИИ, а разработчик ИА, получая знания с помощью журналов и тестов, пытается построить более разумную и безопасную модель, пытаясь уменьшить вероятность неудачи.

— Гильерме И.А.
источник

3

Отличный ответ. (IMO, должен быть принятым ответом, но вам нужно предоставить некоторую поддержку или ссылки.) Независимо от того, ваша логика верна, хотя я думаю, что это начнет распространяться за пределы Программист против программиста на агент против агента, как новые алгоритмы увеличиваются в изощренность и применять эти стратегии без подсказок человека.

— DukeZhou

1

Обновлено! Хороший вопрос @DukeZhou

— Гильерме И.А.

6

Как мы можем предотвратить это?

Есть несколько работ по проверке AI. Автоматические верификаторы могут доказать свойства надежности нейронных сетей. Это означает, что если вход X NN возмущен не больше, чем при данном пределе ε (в некоторой метрике, например, L2), то NN дает тот же ответ на него.

Такие верификаторы выполняются:

Стэнфорд: https://arxiv.org/pdf/1702.01135.pdf
ETHZ: https://www.sri.inf.ethz.ch/papers/sp2018.pdf
Google: https://arxiv.org/pdf/1803.06567.pdf , https://arxiv.org/pdf/1805.10265.pdf
Bosch: https://arxiv.org/pdf/1805.10265.pdf

Этот подход может помочь проверить свойства надежности нейронных сетей. Следующим шагом является создание такой нейронной сети, которая требует устойчивости. Некоторые из вышеупомянутых работ содержат также методы, как это сделать.

Существуют различные методы для повышения надежности нейронных сетей:

обучение состязательности (см., например, А. Куракин и др., ICLR 2017 )
защитная перегонка (см., например, Н. Папернот и др., SSP 2016 )
Защита MMSTV ( Модри и др., ICLR 2018 ).

По крайней мере, последний может сделать NN более надежным. Больше литературы можно найти здесь .

— Илья Палачев
источник

2

Это звучит как невозможное утверждение ... разве что речь идет о каких-то конкретных входах X, а не общих входах X? В каком случае кажется, что он почти ничего не говорит о возможности взлома, поскольку входные данные не должны ограничиваться возмущениями тех, кто находится в процессе обучения?

— Мердад

1

@Mehrdad: Вероятно, это возможно в вероятностном смысле, если пространство ввода достаточно структурировано, чтобы вы могли случайным образом его сэмплировать. То есть, вы, вероятно, можете установить, что для 95% возможных входов 95% помех, меньших, чем ε, не влияют на метку класса. Это эквивалентно установлению того, что граница между выходными классами во входном пространстве является гладкой или что большая часть входного пространства не лежит вблизи границы класса. Очевидно, что некоторая часть входного пространства должна находиться рядом с границей класса.

— MSalters

Я не уверен, что это применимо к «противоборствующему» случаю, описанному в статье: там (IIRC) градиент с обратным распространением добавляется ко всему изображению, поэтому изменение для всего ввода может быть довольно большим - даже если изменение для каждого отдельного пикселя едва заметно.

— Ники

@MSalters: я думаю, да. Но тогда это, кажется, обесценивает это справедливо, если вы не можете фактически показать, что изображения, которые находятся на границе класса, должны фактически быть на границе класса ...

— Mehrdad

Предложение «Следующим шагом является построение такой нейронной сети, которая требует устойчивости», находится в стадии исследования. В общем, очень трудно избавиться от проблемы нестабильности NN. Но возможно повысить надежность благодаря состязательному обучению (см., Например, А. Куракин и др., ICLR 2017 ), защитной дистилляции (см., Например, Н. Папернот и др., SSP 2016 ), защите MMSTV ( Модри и др., ICLR 2018). ). По крайней мере, последний может сделать NN более надежным.

— Илья Палачев

4

Я верю, что ни одна система не является безопасной, однако я не уверен, смогу ли я сказать это после 20-30 лет развития / развития ИИ. В любом случае, есть статьи, которые показывают, что люди обманывают ИИ (Computer Vision)

https://www.theverge.com/2018/1/3/16844842/ai-computer-vision-trick-adversarial-patches-google

https://spectrum.ieee.org/cars-that-think/transportation/sensors/slight-street-sign-modifications-can-fool-machine-learning-algorithms

— Акио
источник

4

Искусственный интеллект уязвим для взлома?

Переверните ваш вопрос на мгновение и подумайте:

Что сделает ИИ менее подверженным риску взлома по сравнению с любым другим видом программного обеспечения?

В конце концов, программное обеспечение - это программное обеспечение, и всегда будут ошибки и проблемы безопасности. ИИ подвержены риску всех проблем, которым подвержено программное обеспечение, не относящееся к ИИ, поскольку ИИ не дает ему какой-то иммунитет.

Что касается подделки, связанной с ИИ, ИИ рискует получить ложную информацию. В отличие от большинства программ, функциональность ИИ определяется данными, которые он потребляет.

Например, несколько лет назад Microsoft создала чат-бита AI под названием Tay. Людям Твиттера понадобилось менее 24 часов, чтобы научить их говорить: «Мы собираемся построить стену, а Мексика заплатит за это»:

(Изображение взято из статьи Verge, ссылки на которую приведены ниже, я не претендую на это.)

И это только верхушка айсберга.

Некоторые статьи о Тэй:

А теперь представьте, что это был не чат-бот, представьте, что это была важная часть ИИ из будущего, где ИИ отвечает за такие вещи, как не убийство пассажиров автомобиля (т.е. автомобиля с автоматическим управлением) или не убийство пациента на операционный стол (т.е. какое-то медицинское оборудование).

Конечно, можно было бы надеяться, что такие ИИ будут лучше защищены от таких угроз, но предположим, что кто-то нашел способ накормить такой ИИ массой ложной информации, не будучи замеченным (в конце концов, лучшие хакеры не оставляют следов), что действительно может означать разница между жизнью и смертью.

На примере автомобиля с самостоятельным вождением представьте, что из-за ложных данных автомобиль может подумать, что ему необходимо сделать аварийную остановку на автомагистрали. Одним из применений медицинского ИИ является решение о жизни или смерти в ER, представьте, может ли хакер склонить чашу весов в пользу неправильного решения.

Как мы можем предотвратить это?

В конечном счете масштаб риска зависит от того, насколько люди зависимы от ИИ. Например, если бы люди принимали решение ИИ и никогда не ставили его под сомнение, они были бы открыты для всех видов манипуляций. Однако, если они используют анализ ИИ как одну из частей головоломки, было бы легче определить, когда ИИ неправ, будь то случайно или злонамеренно.

В случае принятия медицинского решения, не просто верьте ИИ, проводите физические тесты и узнавайте и человеческое мнение. Если два доктора не согласны с ИИ, выкиньте диагноз ИИ.

В случае с автомобилем одна из возможностей состоит в том, чтобы иметь несколько избыточных систем, которые по сути должны «голосовать» за то, что делать. Если в машине было несколько ИИ в разных системах, которые должны голосовать о том, какое действие предпринять, хакер должен был бы взять больше, чем один ИИ, чтобы получить контроль или вызвать патовую ситуацию. Важно отметить, что если ИИ работали в разных системах, то же самое использование, которое использовалось в одной, не могло быть сделано в другой, что еще больше увеличивало рабочую нагрузку хакера.

— Pharap
источник

1

Мне нравится идея иметь несколько отдельных систем ИИ, которые должны достигать соглашения в качестве метода смягчения. Хотя тогда вы должны быть уверены, что какой-либо механизм голосования, который они использовали, не может быть использован для фальсификации решения.

— Кристофер Гриффит

@ChristopherGriffith Правда, это риск. В случае с автомобилем, лучший способ смягчить это - спроектировать систему так, чтобы злоумышленнику потребовался физический доступ, чтобы манипулировать ею и сделать его труднодоступным, чтобы человеку пришлось взломать машину, чтобы получить к ней доступ. Сохранение системы в автономном режиме, как правило, является хорошей контрмерой взлома, хотя и не всегда идеальной.

— Pharap

1

Я согласен с Акио в том, что ни одна система не является полностью безопасной, но, по-моему, системы ИИ менее подвержены атакам по сравнению со старыми системами из-за способности постоянно совершенствоваться.

С течением времени все больше людей будут приходить в поле, принося новые идеи, и оборудование будет совершенствоваться так, чтобы они стали «сильным ИИ».