Искусственный интеллект уязвим для взлома?


27

В статье «Ограничения глубокого обучения в условиях состязательности» рассматривается, как нейронные сети могут быть повреждены злоумышленником, который может манипулировать набором данных, с которым обучается нейронная сеть. Авторы экспериментируют с нейронной сетью, предназначенной для чтения рукописных цифр, подрывая ее способность к чтению, искажая образцы рукописных цифр, с которыми обучается нейронная сеть.

Я обеспокоен тем, что злоумышленники могут попытаться взломать ИИ. Например

  • Обманывают автономные транспортные средства, чтобы неправильно истолковать знаки остановки и ограничение скорости.
  • Обход распознавания лиц, например, для банкомата.
  • Обход спам-фильтров.
  • Обманчивый анализ настроений обзоров фильмов, отелей и т. Д
  • В обход двигателей обнаружения аномалий.
  • Поддельные голосовые команды.
  • Неправильная классификация прогнозов на основе машинного обучения.

Какой эффект состязания может разрушить мир? Как мы можем предотвратить это?


6
Учтите, что человеческий интеллект уязвим для взлома
Гай

Интересный. Вы интересуетесь «моделями риска для конфликтных ситуаций» или чем-то ближе к традиционному ответу о кибербезопасности, но все же прямо об ИИ? С наилучшими пожеланиями.
Тавтологические Откровения

Ответы:


19

ИИ, с моей точки зрения, уязвим с двух сторон:

  1. Классический метод использования явных программных ошибок для достижения какого-либо выполнения кода на компьютере, на котором запущен AI, или для извлечения данных.

  2. Хитрость через эквивалент оптических иллюзий ИИ для конкретной формы данных, с которой система предназначена для работы.

Первое должно быть смягчено так же, как и любое другое программное обеспечение. Я не уверен, что ИИ более уязвим на этом фронте, чем другое программное обеспечение, и я склонен думать, что сложность может немного увеличить риск.

Второе, вероятно, лучше всего смягчается как тщательной доработкой системы, как отмечено в некоторых других ответах, так и тем, что она делает систему более контекстно-зависимой; Многие противоборствующие методы основаны на оценке в вакууме.


1
Раскол между уязвимостями кода и уязвимостями использования - это хорошо. Тем не менее, уязвимости кода, как правило, незначительны в ИИ. Сложность ИИ заключается в данных, будь то вес узлов в нейронной сети или деревья в случайном лесу. Есть только небольшой кусочек кода для питания ИИ, и главный риск заключается в том, чтобы его не перекармливать - классический риск переполнения буфера, который легко смягчается методами конца 20-го века.
MSalters

@MSalters Я думаю, что трудно сделать общий вывод, потому что сложность кода может сильно различаться у разных типов агентов ИИ (я думаю, что ваш комментарий в значительной степени точен для нейронных сетей). Кроме того, хотя данные и манипулирование ими, вероятно, представляют собой большую площадь атаки, было бы неразумно игнорировать тот же тип атак, которые в прошлом позволяли выполнять удаленное выполнение кода через скомпрометированные файлы изображений, которые использовали недостатки в приложениях для просмотра изображений. Вектор - это данные, которые передаются, но поведение все еще подпадает под заголовок уязвимости кода, я думаю.
Кристофер Гриффит

7

Программист против Программиста

Это «бесконечная война»: программисты против программистов. Все может быть взломано. Профилактика связана с уровнем знаний профессионала, отвечающего за безопасность, и программистов в области безопасности приложений.

Например, есть несколько способов идентифицировать пользователя, пытающегося испортить показатели, сгенерированные с помощью Sentiment Analysis, но также есть способы обойти эти шаги. Это довольно скучный бой.

Агент против Агента

Интересный момент, который поднял @DukeZhou, - это эволюция этой войны с участием двух искусственных интеллектов (агентов). В этом случае битва является одной из самых знающих. Знаете, какая модель лучше подготовлена?

Тем не менее, для достижения совершенства в вопросе уязвимости искусственный интеллект или искусственный супер-интеллект превосходят возможности обойти человека. Как будто знания о всех взломах по сей день уже существовали в сознании этого агента, и он начал разрабатывать новые способы обхода собственной системы и развития защиты. Сложный, верно?

Я считаю, что трудно иметь ИИ, который думает: «Будет ли человек использовать фотографию вместо того, чтобы идентифицировать свое лицо?»

Как мы можем предотвратить это

Всегда иметь человека, контролирующего машину, и все же она не будет на 100% эффективной. Это игнорирует возможность того, что агент может улучшить свою собственную модель в одиночку.

Вывод

Поэтому я думаю, что сценарий работает следующим образом: программист пытается обойти проверки ИИ, а разработчик ИА, получая знания с помощью журналов и тестов, пытается построить более разумную и безопасную модель, пытаясь уменьшить вероятность неудачи.


3
Отличный ответ. (IMO, должен быть принятым ответом, но вам нужно предоставить некоторую поддержку или ссылки.) Независимо от того, ваша логика верна, хотя я думаю, что это начнет распространяться за пределы Программист против программиста на агент против агента, как новые алгоритмы увеличиваются в изощренность и применять эти стратегии без подсказок человека.
DukeZhou

1
Обновлено! Хороший вопрос @DukeZhou
Гильерме И.А.

6

Как мы можем предотвратить это?

Есть несколько работ по проверке AI. Автоматические верификаторы могут доказать свойства надежности нейронных сетей. Это означает, что если вход X NN возмущен не больше, чем при данном пределе ε (в некоторой метрике, например, L2), то NN дает тот же ответ на него.

Такие верификаторы выполняются:

Этот подход может помочь проверить свойства надежности нейронных сетей. Следующим шагом является создание такой нейронной сети, которая требует устойчивости. Некоторые из вышеупомянутых работ содержат также методы, как это сделать.

Существуют различные методы для повышения надежности нейронных сетей:

По крайней мере, последний может сделать NN более надежным. Больше литературы можно найти здесь .


2
Это звучит как невозможное утверждение ... разве что речь идет о каких-то конкретных входах X, а не общих входах X? В каком случае кажется, что он почти ничего не говорит о возможности взлома, поскольку входные данные не должны ограничиваться возмущениями тех, кто находится в процессе обучения?
Мердад

1
@Mehrdad: Вероятно, это возможно в вероятностном смысле, если пространство ввода достаточно структурировано, чтобы вы могли случайным образом его сэмплировать. То есть, вы, вероятно, можете установить, что для 95% возможных входов 95% помех, меньших, чем ε, не влияют на метку класса. Это эквивалентно установлению того, что граница между выходными классами во входном пространстве является гладкой или что большая часть входного пространства не лежит вблизи границы класса. Очевидно, что некоторая часть входного пространства должна находиться рядом с границей класса.
MSalters

Я не уверен, что это применимо к «противоборствующему» случаю, описанному в статье: там (IIRC) градиент с обратным распространением добавляется ко всему изображению, поэтому изменение для всего ввода может быть довольно большим - даже если изменение для каждого отдельного пикселя едва заметно.
Ники

@MSalters: я думаю, да. Но тогда это, кажется, обесценивает это справедливо, если вы не можете фактически показать, что изображения, которые находятся на границе класса, должны фактически быть на границе класса ...
Mehrdad

Предложение «Следующим шагом является построение такой нейронной сети, которая требует устойчивости», находится в стадии исследования. В общем, очень трудно избавиться от проблемы нестабильности NN. Но возможно повысить надежность благодаря состязательному обучению (см., Например, А. Куракин и др., ICLR 2017 ), защитной дистилляции (см., Например, Н. Папернот и др., SSP 2016 ), защите MMSTV ( Модри и др., ICLR 2018). ). По крайней мере, последний может сделать NN более надежным.
Илья Палачев

4

Я верю, что ни одна система не является безопасной, однако я не уверен, смогу ли я сказать это после 20-30 лет развития / развития ИИ. В любом случае, есть статьи, которые показывают, что люди обманывают ИИ (Computer Vision)

https://www.theverge.com/2018/1/3/16844842/ai-computer-vision-trick-adversarial-patches-google

https://spectrum.ieee.org/cars-that-think/transportation/sensors/slight-street-sign-modifications-can-fool-machine-learning-algorithms


4

Искусственный интеллект уязвим для взлома?

Переверните ваш вопрос на мгновение и подумайте:

Что сделает ИИ менее подверженным риску взлома по сравнению с любым другим видом программного обеспечения?

В конце концов, программное обеспечение - это программное обеспечение, и всегда будут ошибки и проблемы безопасности. ИИ подвержены риску всех проблем, которым подвержено программное обеспечение, не относящееся к ИИ, поскольку ИИ не дает ему какой-то иммунитет.

Что касается подделки, связанной с ИИ, ИИ рискует получить ложную информацию. В отличие от большинства программ, функциональность ИИ определяется данными, которые он потребляет.

Например, несколько лет назад Microsoft создала чат-бита AI под названием Tay. Людям Твиттера понадобилось менее 24 часов, чтобы научить их говорить: «Мы собираемся построить стену, а Мексика заплатит за это»:

Мы собираемся построить стену, и Мексика собирается заплатить за это

(Изображение взято из статьи Verge, ссылки на которую приведены ниже, я не претендую на это.)

И это только верхушка айсберга.

Некоторые статьи о Тэй:

А теперь представьте, что это был не чат-бот, представьте, что это была важная часть ИИ из будущего, где ИИ отвечает за такие вещи, как не убийство пассажиров автомобиля (т.е. автомобиля с автоматическим управлением) или не убийство пациента на операционный стол (т.е. какое-то медицинское оборудование).

Конечно, можно было бы надеяться, что такие ИИ будут лучше защищены от таких угроз, но предположим, что кто-то нашел способ накормить такой ИИ массой ложной информации, не будучи замеченным (в конце концов, лучшие хакеры не оставляют следов), что действительно может означать разница между жизнью и смертью.

На примере автомобиля с самостоятельным вождением представьте, что из-за ложных данных автомобиль может подумать, что ему необходимо сделать аварийную остановку на автомагистрали. Одним из применений медицинского ИИ является решение о жизни или смерти в ER, представьте, может ли хакер склонить чашу весов в пользу неправильного решения.

Как мы можем предотвратить это?

В конечном счете масштаб риска зависит от того, насколько люди зависимы от ИИ. Например, если бы люди принимали решение ИИ и никогда не ставили его под сомнение, они были бы открыты для всех видов манипуляций. Однако, если они используют анализ ИИ как одну из частей головоломки, было бы легче определить, когда ИИ неправ, будь то случайно или злонамеренно.

В случае принятия медицинского решения, не просто верьте ИИ, проводите физические тесты и узнавайте и человеческое мнение. Если два доктора не согласны с ИИ, выкиньте диагноз ИИ.

В случае с автомобилем одна из возможностей состоит в том, чтобы иметь несколько избыточных систем, которые по сути должны «голосовать» за то, что делать. Если в машине было несколько ИИ в разных системах, которые должны голосовать о том, какое действие предпринять, хакер должен был бы взять больше, чем один ИИ, чтобы получить контроль или вызвать патовую ситуацию. Важно отметить, что если ИИ работали в разных системах, то же самое использование, которое использовалось в одной, не могло быть сделано в другой, что еще больше увеличивало рабочую нагрузку хакера.


1
Мне нравится идея иметь несколько отдельных систем ИИ, которые должны достигать соглашения в качестве метода смягчения. Хотя тогда вы должны быть уверены, что какой-либо механизм голосования, который они использовали, не может быть использован для фальсификации решения.
Кристофер Гриффит

@ChristopherGriffith Правда, это риск. В случае с автомобилем, лучший способ смягчить это - спроектировать систему так, чтобы злоумышленнику потребовался физический доступ, чтобы манипулировать ею и сделать его труднодоступным, чтобы человеку пришлось взломать машину, чтобы получить к ней доступ. Сохранение системы в автономном режиме, как правило, является хорошей контрмерой взлома, хотя и не всегда идеальной.
Pharap

1

Я согласен с Акио в том, что ни одна система не является полностью безопасной, но, по-моему, системы ИИ менее подвержены атакам по сравнению со старыми системами из-за способности постоянно совершенствоваться.

С течением времени все больше людей будут приходить в поле, принося новые идеи, и оборудование будет совершенствоваться так, чтобы они стали «сильным ИИ».


1

Искусственный интеллект уязвим для взлома?

намек; если вы говорите, что ИИ уязвим, то я не согласен с вами здесь с таким утверждением. Искусственный интеллект делится на три категории и фазы, которые мы должны пройти, т.е.

  • искусственный узкий интеллект

  • искусственный интеллект

  • искусственный супер интеллект

Следовательно, согласно вашему утверждению; «Я обеспокоен тем, что злоумышленники могут попытаться взломать ИИ…»

Приведенные примерами в вашем теле сообщения, мы находимся на уровне искусственного узкого интеллекта, где хакер-человек может исказить свой / вредоносный код для вторжения в такие приложения, на этом уровне. Однако, если мы прыгнем прямо на конечный уровень Искусственного разведки; затем, во что бы то ни стало, человек не может ни вторгнуться, ни взломать суперинтеллектуальную программу или высокотехнологичный суперинтеллектуальный агент. Например; человек-хакер, делающий одну вещь за раз, ничто не мешает искусственному интеллекту разделить его фокус и одновременно работать с большим количеством персонала, трудно даже предположить, что ум работает точно так

довожу до вашего сведения

не принимайте во внимание то, что средства массовой информации говорят об ИИ в целом, просто потому, что они не знают, что произойдет что-то важное - это новые виды, которые конкурируют с людьми

только представьте, что вы живете в новом обществе высоких технологий. Проверьте кибер гранд вызов

Если вы пропустили это событие, то извините.


Я полагаю, что даже в мире с искусственно созданными сверхинтеллектуальными творениями все еще будут способы взлома этих систем с использованием узкоспециализированных инструментов, которые могут просто превзойти обобщенные системы ИИ в конкретных задачах.
krowe2

1

Интеллект любого типа уязвим для взлома, будь то на основе ДНК или искусственного. Для начала давайте определимся со взломом. В этом контексте взлом - это использование слабых сторон для достижения определенных целей, которые могут включать статус, финансовую выгоду, срыв бизнеса или правительства, информацию, которая может быть использована для вымогательства, верх в деловой сделке или выборах, или в какой-либо другой форме контроля или манипуляции.

Вот примеры стратегий взлома мозга и их общих целей. Каждый из них имеет цифровой системный эквивалент.

  • Правительственная пропаганда - предсказуемое соблюдение
  • Мошенничество - деньги
  • Спуфинг - юмористическая общественная реакция
  • Игра в ролл - завоевать доверие, чтобы получить доступ или манипулировать
  • Центры боли - используйте зависимость для увеличения дохода

Некоторые обеспокоены тем, что называется Сингулярностью, где интеллектуальные программные объекты могут взламывать людей и их социальные структуры для достижения своих собственных целей. То, что люди могут взломать разумных агентов других людей, - еще одна очевидная возможность. Я не думаю, что тренировочные данные - единственная точка атаки.

  • Матрицы параметров могут быть перезаписаны способом, который трудно обнаружить.
  • Сигналы усиления могут быть подделаны.
  • Известные очаги ошибок во входных перестановках могут быть использованы.
  • Детерминистская природа цифровых систем может быть использована другими глубокими учениками путем дублирования обученной системы и поиска точек уязвимости в автономном режиме перед выполнением их по сети

Возможности, перечисленные в вопросе, заслуживают рассмотрения, но это моя версия списка.

  • Убийство по причине неисправности AV или подделки идентификационных систем в аптеках или больницах
  • Переадресация большого количества отгруженного товара получателю, который не заплатил за него
  • Социальный геноцид путем маргинализации отдельных групп людей

Единственный способ предотвратить это - дождаться события глобального вымирания, но могут быть способы его смягчения. Подобно тому, как сатана программы был написан для поиска уязвимостей в системах UNIX, могут быть разработаны интеллектуальные системы для поиска уязвимостей в других интеллектуальных системах. Конечно, точно так же, как модели программирования и обычные информационные системы могут разрабатываться с учетом безопасности, снижая степень уязвимости до разумно возможной степени с первого дня, системы ИИ могут разрабатываться с учетом этой цели.

Если вы следуете по информационному пути любой системы и рассматриваете способы чтения или записи сигнала в любой точке пути, вы можете превентивно защититься от этих точек доступа. Очевидно, что осторожность при получении данных для использования в целях обучения является ключевой в случае, упомянутом в этом вопросе, и необходимо надлежащее шифрование по информационным путям, а также обеспечение того, чтобы физическому доступу не был предоставлен несанкционированный персонал, но я предвижу битвы между мерами и контрмеры, вытекающие из этих проблем и возможностей.


0

Есть много способов взломать ИИ. Когда я был ребенком, я думал, как побить шахматный компьютер. Я всегда следовал одной и той же схеме, как только вы узнаете, вы можете использовать ее. Лучший хакер в мире - это 4-летний мальчик, который хочет чего-то, он будет пробовать разные вещи, пока не установит образец в своих родителях. В любом случае, получите Ai, чтобы выучить паттерны AI, и, учитывая заданную комбинацию, вы можете определить результат. В коде также есть просто недостатки или задняя дверь, нарочно или случайно. Также есть вероятность, что ИИ взломает сам себя. Это называется плохим поведением, вспомни маленького ребенка еще раз ...

Кстати, простой способ сделать ИИ всегда безопасным ... то, что люди забывают.

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.