Всегда ли Amazon Echo слушает и отправляет данные в облако?

Некоторые источники новостей, такие как Intellihub и CEPro , предполагают, что домашний помощник Amazon Echo постоянно слушает разговоры и отправляет их через Интернет на серверы Amazon. CEPro заявляет, что:

Сказав ключевую фразу, Amazon называет «бодрствующим словом», Эхо оживает и начинает прислушиваться к командам. По умолчанию слово "бодрствование" - Alexa.

Если вы перечитаете последнее предложение, это может не иметь смысла, особенно если вы находитесь в области безопасности. Согласно Amazon, Echo слушает команды только после того, как услышит свое слово. Как он узнал, когда вы произнесли слово «бодрствование», если оно еще не слушалось?

Статья Intellihub похожа по своему настроению:

Устройство «Amazon Echo», постоянно слушающий Bluetooth-динамик, который подключается к сервисам потоковой передачи музыки, таким как Pandora и Spotify, под звуки голоса человека, может быть легко взломано и использовано правительственными учреждениями, такими как ФБР, для прослушивания разговоров.

(Обратите внимание, что я не особо фокусируюсь на изучении хакерского аспекта этого вопроса, так как это, вероятно, будет слишком много для одного вопроса. Мой главный фокус - это всегда включенный аспект и то, отправляет ли это данные все время .)

Кажется, что ни одна из статей не заинтересована в раскрытии источника своих утверждений, что говорит мне о том, что они в лучшем случае бездоказательны, а в худшем - приманки.

Всегда ли Echo записывает и отправляет данные в облако, или вышеуказанные претензии необоснованны? Как Amazon Echo обрабатывает данные, если они не всегда отправляют данные на серверы в облаке?

Да, всегда слушаю. Нет, это не всегда отправка в облако.

Очевидно, что устройство всегда должно прослушивать, чтобы обнаружить слово после пробуждения. Тем не менее, это делается с помощью технологии под названием.

1. Как Amazon Echo и Echo Dot распознают это слово?

Amazon Echo и Echo Dot используют поиск по ключевым словам на устройстве, чтобы обнаружить пробужденное слово. Когда эти устройства обнаруживают слово пробуждения, они передают аудио в Облако , включая долю секунды перед словом пробуждения.

( Echo FAQ )

Таким образом, по словам Amazon, обнаружение слова Wake на устройстве. Это можно очень легко проверить, запретив устройству доступ в Интернет на вашем маршрутизаторе. Echo / Echo Dot по-прежнему распознает слово Wake, но световое кольцо станет красным, и устройство сообщит вам, что у него нет подключения к Интернету. Таким образом, мы можем очень просто проверить, что распознавание слова Wake действительно выполняется локально .

Только после обнаружения пробужденного слова устройство связывается с облачным сервисом Alexa.

Согласно Amazon, устройство направляется в облако только тогда, когда световое кольцо синего цвета, и оно вообще не слушает, когда вы выключаете звук, а световое кольцо светится красным. Конечно, осторожные люди могут проверить это с помощью сетевых инструментов, таких как Wireshark, чтобы убедиться, что он действительно только тогда передает.

Всегда ли Echo записывает и отправляет данные в облако, или вышеуказанные претензии необоснованны?

Нет на отправку. Но да, на записи.

В настоящее время я разрабатываю аппаратный клиент Alexa для компании. Устройство всегда слушает. Но вам нужно включить в него механизм пробуждения, чтобы он «проснулся» из пассивного режима прослушивания и переключился в активный режим «прослушивания команды».

Микропрограмма будет отправлять операторы только после слова пробуждения (переключение в активный режим) в облако, чтобы обрабатывать их как команды.

• Что касается устройства, вы не захотите отправлять каждое заявление, которое оно получает, в облако для обработки, потому что это потребует слишком большой пропускной способности и мощности.
• Что касается Amazon, они также не хотели бы, чтобы каждый клиент Alexa отправлял все, что слышит, потому что это потребовало бы огромной полосы пропускания. Кроме того, это может привести к слишком большому количеству несвязанных данных, которые могут помешать непрерывному обучению системы. Представьте себе, что вы пытаетесь узнать, что говорит ваш учитель (действительные команды), когда все в классе говорят в одно и то же время (каждое другое утверждение не является командой).

Как Amazon Echo обрабатывает данные, если не всегда отправляет данные на серверы в облаке?

В пассивном режиме устройство имеет встроенный механизм пробуждения, который все время прослушивает пробуждение. Пока я тестировал Alexa в Raspberry Pi, для этой цели мне пришлось включить либо движок Sensory, либо KITT.AI. На самом деле, когда я опробовал прототип клиентского кода Alexa для моей машины с Linux, он должен был быть «push-to-talk», потому что не было механизма пробуждения слов.

Сказав ключевую фразу, Amazon называет «бодрствующим словом», Эхо оживает и начинает прислушиваться к командам. По умолчанию слово "бодрствование" - Alexa.

Если вы перечитаете последнее предложение, это может не иметь смысла, особенно если вы находитесь в области безопасности. Согласно Amazon, Echo слушает команды только после того, как услышит свое слово. Как он узнал, когда вы произнесли слово «бодрствование», если оно еще не слушалось?

Echo активно прослушивает ключевое слово и принимает слова, сказанные после ключевого слова, для обработки NLU. Вот мое понимание того, как эхо достигает этого изящного подвига.

Echo построен на цифровом медиа-процессоре Texas Instruments DM3725 .

Этот TI SoC имеет два ключевых элемента: первый - ARM Cortex-A8 MPU, а второй - TMS320DM64x + DSP. Ядро ARM должно работать под управлением Linux, а DSP - под прошивкой.

При работе на холостом ходу ядро ​​ARM переводится в режим минимального энергопотребления, а Linux полностью приостанавливается. В это время DSP и 64KB On-Chip RAM активны. Микропрограмма DSP обрабатывает шум, поступающий от микрофонов, и пытается определить, произнесено ли ключевое слово (например, Alexa). Как только он обнаруживает ключевое слово, DSP отправляет прерывание, чтобы разбудить ядро ​​ARM, которое, в свою очередь, возобновляет работу Linux. Но, помните, в то время как Linux пробуждает человека, который сказал, что Алекса продолжит говорить (например, «Алекса, который час?» ). DSP буферизует "который час?" часть на чипе оперативной памяти. И когда Linux возобновляется, Linux извлекает буферизованную речь и использует способность обработки естественного языка (частично локальная, частично облачная), чтобы понять, что сказал человек.

Как вы видите, дизайн полностью создан, чтобы быть наименее энергоемким и избежать необходимости включать облако для обнаружения ключевых слов и начальной буферизации. Фактически, поддерживая ядро ​​ARM в состоянии наименьшей мощности, кремний нагревается меньше всего при работе на холостом ходу, таким образом продлевая срок службы вашего устройства.

Я опускаю обсуждение попыток взломать эхо, поскольку вопрос был следующим:

Признание слова бодрствования действительно осуществляется локально.

Да.

Посмотрите, например, Насколько приватно новое Amazon Echo? (есть еще много похожих, которые можно найти с минимальными усилиями)

Как и Siri, Amazon Echo работает в «облаке», работающем на Amazon Web Services. Поэтому обработка, необходимая для «понимания» вашей команды, не обрабатывается на самом устройстве.

Тем не мение,

В конце концов, он всегда слушает, так что нас не должен беспокоить Большой Брат?

Нет, говорит Амазонка. Технический гигант говорит, что он не слушает и не записывает частные разговоры дома. Если кто-то обеспокоен, он может использовать прилагаемый пульт дистанционного управления, чтобы нажать кнопку отключения звука, которая отключает устройство «всегда прослушивающее», поэтому оно будет неработоспособным, пока вы снова не активируете микрофон.