Погода:
Киев сегодня
Киев
Донецк
Одесса
Львов
Харьков
Санкт-Петербург
Москва
Сегодня Завтра
НБУ
НБУ Межбанк Наличные
EUR
26.18
USD
23.49
RUB
0.37
EUR
39.04
USD
36.57
RUB
0.34
EUR
29.22
USD
26.07
RUB
0.46
Черепаха - это винтовка: Студенты MIT обманули ИИ Google
черепаха
  • 1
  • 2
  • 3
  • 4
  • 5
  • Текущий рейтинг
0/5 (0 голосов)
Различные технологические компании, государственные структуры и научно-исследовательские институты все больше полагаются на нейронные сети и построенные на их основе системы искусственного интеллекта в решении широкого круга задач, начиная от более приземленного распознавания лиц и заканчивая поисками экзотических форм материи.
Но легко ли обмануть эти сверхсложные высокотехнологические системы? На этот вопрос и попытались ответить группа студентов небезызвестного Массачусетского технологического института (Massachusetts Institute of Technology; MIT).

В рамках соответствующего исследования студенты занялись поиском надежного и эффективного инструмента, позволяющего обманом заставить нейросеть увидеть в коте, например, корову. То есть, ошибочно принять один объект или предмет за другой.

Исследователи использовали специфическую технику под названием «adversarial examples» – устоявшегося перевода на русский для этого термина нет, дословно можно перевести как примеры с противопоставлением/соперничающие примеры. Под этим термином скрываются изображения, звуки, текст, которые людям кажутся вполне обычными, машины видят их совершенно по-другому. Обманные изображения могут ввести глубинную нейросеть в заблуждение и принять одно за другое. Подобные обманные изображения создаются путем наложения на обычное изображение специфического «невидимого» слоя со случайным узором.

Справедливости ради отметим, что техника эта не доскональная, поскольку чувствительна к различным воздействия: масштабирование, кадрирование, поворот на определенный угол или прочие изменения могут ослабить обманный эффект и привести к правильному определению изображения. Авторы исследования ставили задачу создать обманное изображение, которое будет работать при любых условиях. И надо сказать, они добились определенных успехов.

Созданный студентами алгоритм показал высокую эффективность, причем как применительно к обычных плоским изображениям, так и к 3D-моделям. Обработанные им изображениями могут обмануть ИИ вне зависимости от ракурса. Студентам удалось обмануть систему ИИ Google Inception v3, заставив ее увидеть в напечатанной на 3D-принтере черепахе винтовку. 

Это важно в первую очередь потому, что одним ИИ Google эта проблема не ограничивается. Любая система ИИ на глубинной нейросети потенциально уязвима для такого рода атак.

Безусловно, системы искусственного интеллекта – одна из главных тенденций в IT-индустрии в последние годы и едва ли в ближайшем будущем что-то изменится. В то же время даже современные системы ИИ далеко не всегда работают хорошо.

Взять хотя бы недавний случай с системой ИИ в смартфонах Apple, которая умеет автоматически определять, что изображено на снимке, и группировать изображения по категориям. Только полное понимание того, каким образом можно обманывать подобные системы, позволит разработать соответствующие защитные механизмы и избежать серьезных проблем в будущем.

  • 1
  • 2
  • 3
  • 4
  • 5
  • Текущий рейтинг
Комментарии (0)
Войти через: