Ваш ИИ — то, что он ест. Зачем хактивисты из США хотят накормить нейросети цифровым мусором

В индустрии искусственного интеллекта запущена новая, весьма смелая инициатива, цель которой — ослабить работу моделей машинного обучения путём намеренного искажения данных, используемых для их обучения. Идея проекта под названием Poison Fountain родилась среди людей, напрямую работающих с разработкой ИИ, и направлена на то, чтобы показать уязвимость этих систем и привлечь внимание к потенциальным угрозам.

Авторы проекта предлагают владельцам сайтов размещать на своих ресурсах ссылки, ведущие к специально созданным страницам с ошибочной или вредоносной информацией, которую автоматически собирают поисковые ИИ-роботы. Эти данные затем попадают в обучающие выборки, ухудшая точность и качество создаваемых моделей. На подобных страницах предлагается размещать некорректный программный код, содержащий труднообнаружимые логические ошибки, способные навредить языковым моделям, обучающимся на таком контенте.

Идея во многом опирается на исследование компании Anthropic, проведённое в октябре прошлого года. Тогда специалисты пришли к выводу, что даже минимальное количество вредоносных документов может существенно повлиять на поведение языковых моделей. Это открытие, по словам инициаторов Poison Fountain, подтвердило, насколько просто в действительности подорвать работу современных ИИ-систем.

По данным издания The Register, в проекте участвуют пять человек, некоторые из которых трудятся в крупных американских компаниях, занимающихся разработкой ИИ. Один из организаторов, пожелавший сохранить анонимность, отметил, что угрозу представляют не гипотетические сценарии, а уже реализуемые технологии, основанные на искусственном интеллекте. Именно это, по его словам, и стало причиной запуска проекта — стремление продемонстрировать, насколько легко можно подорвать доверие к таким системам.

На сайте Poison Fountain размещены две ссылки — одна ведёт на обычный веб-ресурс, другая доступна только через анонимную сеть Tor. Посетителей призывают сохранять и распространять вредоносные данные, а также всячески способствовать попаданию этой информации в обучающие выборки ИИ. Авторы не верят в эффективность регулирования, считая, что технологии уже получили слишком широкое распространение, а потому реальный ответ должен быть активным и разрушительным.

Скептическое отношение к регулированию подогревается и тем, что крупнейшие компании, работающие с ИИ, активно инвестируют в лоббирование интересов, стараясь минимизировать вмешательство со стороны государства. Поэтому участники Poison Fountain считают, что единственным возможным способом остановить развитие ИИ является саботаж.

По мнению сторонников этой идеи, масштабная кампания по искажению данных может ускорить крах всей отрасли, которая, как предполагается, уже испытывает некоторые трудности. В сообществе давно обсуждаются признаки так называемого «коллапса моделей» — процесса, при котором ИИ начинает обучаться на синтетических или уже обработанных собственными алгоритмами данных, теряя способность к точному воспроизведению информации. В условиях стремительно «загрязняющейся» информационной среды такие модели становятся всё менее надёжными.

Подобные действия частично перекликаются с другими инициативами, направленными на защиту от несанкционированного использования контента. Так, давний проект Nightshade позволяет художникам противодействовать автоматическому сбору изображений с их сайтов, внося в них незаметные для человека искажения, которые мешают алгоритмам распознавать изображения корректно.

Насколько эффективно может быть намеренное отравление обучающих данных — пока вопрос открытый. Но сам факт появления таких проектов отражает растущую тревогу в IT-среде по поводу дальнейшего развития искусственного интеллекта и последствий его бесконтрольного использования.