Беспилотный автомобиль можно обмануть специальными картинками

Беспилотный автомобиль можно обмануть специальными картинками

открытие несет реальную угрозу безопасности при использовании роботизированных автомобилей на дорогах общего пользования.

image

Специалисты из Института интеллектуальных систем им. Макса Планка и Тюбингенского университета провели исследование беспилотных автомобилей на предмет безопасности. Инженеры проверяли, как авто справляются с распознаванием человеческих фигур.

Происходит тотальный сбой системы, беспилотный автомобиль может уйти с полосы или неожиданно затормозить. Чем-то это напоминает эффект, когда стробоскопические вспышки определенной частоты вызывают у некоторых людей эпилептические припадки. То есть через зрение искусственным образом вызывается сбой функций организма, в этом смысле мозг человека и беспилотника имеют что-то общее.

По словам ученых, всего за четыре часа им удалось создать образец цветовых сочетаний, вызывающих у беспилотного автомобиля состояние сродни панике, и это становится угрозой безопасности. Узор можно легко нанести на футболки или сделать наклейки на дорожные знаки или хозяйственные сумки. Хакеры тоже могут этим воспользоваться, предупреждают исследователи.

Проблема заключается в несовершенстве искусственного интеллекта, которое проявляется при распознавании изображений. Алгоритм использует встроенную камеру для наблюдения за окружающей средой, такой как дорога перед автомобилем, и для обнаружения препятствий. Если распознавание дает сбой, машина-робот в лучшем случае останавливается из соображений безопасности.

Авторы исследования подчеркнули, что такой баг возникает с вероятностью всего несколько процентов, но этого достаточно, чтобы беспилотник стал вести себя непредсказуемо. Эксперимент показал, что, если камера авто несколько раз увидит одно и то же пятно, ее реакция будет каждый раз особенной.

Разумеется, ученые и программисты со временем решат эту проблему, но пока она остается. Исследователи полагают, что теперь задача автопроизводителей — обучить свои системы быть устойчивыми к таким атакам.

Подписывайтесь на каналы "SecurityLab" в TelegramTelegram и Яндекс.ДзенЯндекс.Дзен, чтобы первыми узнавать о новостях и эксклюзивных материалах по информационной безопасности.

Комментарии для сайта Cackle