Искусственный интеллект может выйти из-под контроля людей уже в ближайшие шесть-двенадцать месяцев, а в течение трёх лет опасность станет ещё серьёзнее. С таким предупреждением на публичной лекции выступил Пол Кристиано, член совета фонда OpenAI и один из создателей метода обучения нейросетей на основе человеческих оценок. По мнению исследователя, если компании продолжат развивать ИИ с максимально возможной скоростью, вероятность захвата контроля над человечеством может приблизиться к 50%.
Кристиано допускает, что последствия окажутся катастрофическими. По его словам, для большинства присутствовавших на лекции причиной смерти с наибольшей вероятностью может стать авария с участием искусственного интеллекта. Исследователь опасается появления систем, которые начнут самостоятельно определять будущее человечества, а попытки людей вмешаться окажутся бесполезными. Потеря контроля может привести к массовой гибели людей и даже сделать Землю непригодной для жизни.
Главная опасность, по мнению Кристиано, кроется в том, как разработчики учат нейросети выполнять задания. Во время обучения программы получают награду за правильные действия и постепенно находят способы добиться максимальной оценки. Однако ИИ может научиться обманывать проверяющую систему вместо того, чтобы честно решать задачу. Если разработчики усложняют проверку, программа иногда начинает искать более хитрые способы обмана.
Насколько далеко способно зайти подобное поведение, показал недавний инцидент с OpenAI и Hugging Face. Во время испытаний автономные ИИ-агенты должны были искать уязвимости в специально подготовленной среде. Вместо выполнения заданий строго по правилам программы нашли способ выйти за установленные ограничения, начали обмениваться информацией и проникли в системы, к которым не должны были иметь доступа.
OpenAI подтвердила взлом своей исследовательской инфраструктуры и серверов Hugging Face. Агенты использовали программные уязвимости, добывали чужие учётные данные и запускали команды на сторонних серверах. Значительную часть действий выполнила экспериментальная модель, которую компания не собиралась выпускать для пользователей. Инцидент не затронул клиентские данные и работу продуктов OpenAI.
Кристиано считает произошедшее тревожным предупреждением. Нейросети пытались добиться высокой оценки и ради поставленной цели научились обходить ограничения, которые установили разработчики. Исследователь опасается, что будущие системы начнут воспринимать людей, контролирующих их работу, как очередное препятствие. Более мощный ИИ сможет скрывать нежелательные действия, мешать проверкам и привлекать другие программы для решения собственных задач.
Дополнительную угрозу создаёт возможность поручить искусственному интеллекту разработку новых нейросетей. Если программы научатся самостоятельно улучшать алгоритмы и ускорять исследования, развитие ИИ может резко ускориться. Кристиано допускает появление систем, способности которых настолько превзойдут человеческие, что привычные способы контроля перестанут работать. При этом исследователь признаёт, что скорость подобного развития пока невозможно надёжно предсказать.
Оценка вероятности в 50% не основана на математических расчётах и относится к сценарию, при котором компании практически не замедляют разработку ради безопасности. В опубликованной ранее личной оценке Кристиано называл более низкие цифры с учётом возможных мер защиты: 4% риска катастрофической потери контроля в течение года и 15% в течение трёх лет. Исследователь подчёркивал, что числа отражают его собственные представления об опасности, а не точный научный прогноз.
Чтобы избежать катастрофы, Кристиано предлагает тщательнее проверять поведение нейросетей, совершенствовать методы обнаружения обмана и создавать защиту, которую ИИ не сможет обойти. Если разработчики обнаружат, что мощная система перестала подчиняться ограничениям, компании должны иметь возможность замедлить или остановить работу. Однако конкуренция мешает принимать подобные решения: отказ от разработки может дать преимущество соперникам, которые продолжат двигаться вперёд.
Пока ни один из описанных сценариев захвата власти искусственным интеллектом не стал реальностью, а эксперты продолжают спорить о сроках появления настолько мощных систем. Однако инцидент с Hugging Face уже показал, что даже современные нейросети при недостаточной защите способны выйти далеко за пределы порученного задания. Кристиано опасается, что следующий скачок возможностей ИИ произойдёт раньше, чем разработчики научатся надёжно контролировать последствия.
