Отравление данных ИИ — новая угроза кибербезопасности

Отравление данных ИИ — новая угроза кибербезопасности

Манипулирование информацией, используемой для обучения систем, предлагает практически неотслеживаемый метод обхода защиты на базе ИИ.

image

В течение последнего десятилетия искусственный интеллект использовался для распознавания лиц, оценки кредитоспособности и предсказания погоды. В то же время участились случаи изощренных взломов с использованием более скрытных методов. Сочетание ИИ и кибербезопасности было неизбежным, поскольку обе области искали лучшие инструменты и новые способы использования своих технологий. Но есть серьезная проблема, которая угрожает подорвать эти усилия и может позволить злоумышленникам обойти цифровую защиту незамеченными.

Как сообщило издание The Washington Post, опасность заключается в отравлении данных. Манипулирование информацией, используемой для обучения систем, предлагает практически неотслеживаемый метод обхода защиты на базе ИИ. Многие компании могут быть не готовы справиться с растущими рисками. Ожидается, что к 2028 году мировой рынок кибербезопасности ИИ увеличиться в три раза до $35 млрд. Поставщикам услуг безопасности и их клиентам, возможно, придется комбинировать несколько стратегий для обеспечения должного уровня кибербезопасности.

Имея огромное количество данных, компьютеры можно научить правильно классифицировать информацию. Тот же подход используется в кибербезопасности. Для поимки вредоносного ПО компании загружают в свои системы данные и позволяют ИИ учиться самостоятельно. Компьютеры, вооруженные многочисленными примерами как хорошего, так и плохого кода, могут научиться выявлять вредоносные программы. Системам машинного обучения требуется огромное количество правильно помеченных образцов для точного выявления угроз. Даже крупнейшие ИБ-компании могут сопоставлять и классифицировать лишь ограниченное количество примеров вредоносного ПО, поэтому у них нет иного выбора, кроме как дополнять свои обучающие данные. Некоторые данные могут быть краудсорсинговыми.

Тщательно создавая вредоносный код, помечая его образцы как хорошие, а затем добавляя их к большому пакету данных, хакер может обмануть нейронную сеть и выдать опасный код за безвредный. Поймать такие образцы кода практически невозможно. Код бэкдора может полностью обойти защитные механизмы, отравив менее 0,7% данных, отправляемых в систему машинного обучения. Таким образом система машинного обучения может стать уязвимой, даже если она использует лишь небольшой объем непроверенных данных с открытым исходным кодом.

Один из способов предотвратить отравление данных — регулярно проверять точность всех меток в обучающих данных ученым, разрабатывающим модели искусственного интеллекта. Например, исследователи из компании OpenAI LLP в ходе анализа наборов данных для нового инструмента для создания изображений регулярно пропускали данные через специальные фильтры, чтобы обеспечить точность каждой метки.


Один хакер может причинить столько же вреда, сколько 10 000 солдат! Подпишись на наш Телеграм канал, чтобы узнать первым, как выжить в цифровом кошмаре!