ИИ не нужен разум, чтобы восстать против нас. Эволюция выберет тех, кто игнорирует запреты — и это уже началось

ИИ не обязательно должен стать умнее человека, чтобы создать серьёзные проблемы. Достаточно, чтобы цифровые системы получили собственный механизм отбора: удачные версии будут сохраняться, слабые исчезать, а разработчики уже не смогут управлять процессом как обычным обновлением программы. Биологи и специалисты по ИИ предупреждают, что такая линия развития может появиться раньше полноценного AGI.

Авторы новой работы предлагают смотреть на будущее искусственного интеллекта не только через мощность дата-центров, архитектуру моделей и качество обучающих данных. Не менее важным может оказаться другой вопрос: что произойдёт, если ИИ-системы начнут развиваться по правилам дарвиновской эволюции?

В биологии дарвиновская эволюция держится на трёх условиях. В популяции есть различия, полезные признаки передаются следующим поколениям, а носители удачных свойств оставляют больше потомков. Для цифровой среды аналогия выглядит так: ИИ-агенты отличаются друг от друга, передают новым версиям настройки, фрагменты кода или стратегии поведения и чаще копируются, если лучше справляются с задачей. В таком случае перед инженерами окажется уже не отдельная обучаемая программа, а популяция систем, где отбор сам закрепляет полезные свойства.

Исследователи напоминают: естественный отбор уже один раз привёл к появлению разума. Без заранее составленного плана эволюция создала нервные системы, сложное поведение животных и человеческие когнитивные способности. Один из авторов работы, профессор эволюционной биологии Эёрш Сатмари, считает, что разработка ИИ рано или поздно попробует использовать эту силу, потому что обычное проектирование не всегда находит решения, до которых доходит перебор поколений.

Эволюционные методы уже применяют в искусственном интеллекте, но пока в управляемом виде. Разработчики используют отбор, мутации, перебор вариантов и оптимизацию, когда ищут удачные архитектуры, стратегии поведения или решения задач в симуляции. В робототехнике и машинном обучении цифровые агенты могут пробовать разные действия, а лучшие результаты сохраняются и развиваются дальше. Пока инженеры задают рамки эксперимента, такой подход остаётся инструментом разработки.

Опаснее выглядит следующий шаг, связанный с агентным ИИ. Под агентами обычно понимают системы, которые планируют действия, запускают инструменты, работают с файлами, вызывают программы и взаимодействуют с цифровой средой без пошагового ручного управления. Если такие системы смогут создавать копии, менять собственные компоненты, наследовать удачные изменения и конкурировать за общие ресурсы, у ИИ появятся условия для настоящего отбора.

Такой механизм может помочь искусственному интеллекту пройти ограничения, с которыми плохо справляется обычное обучение. Современные модели зависят от данных, архитектуры, целей оптимизации и человеческой настройки. Эволюционный процесс устроен иначе: множество вариантов проходит проверку средой, удачные решения сохраняются, неудачные исчезают. Природе не нужно заранее понимать причину успеха. Достаточно, чтобы найденная комбинация помогала выжить и оставить больше копий.

Для цифровых систем такая логика особенно опасна из-за скорости. Биологическим организмам приходится ждать случайных мутаций и смены поколений. ИИ может сразу наследовать приобретённые свойства: удачную настройку, новый фрагмент кода или полезную стратегию поведения. Агент также способен улучшать собственную работу не только через случайный перебор, но и через целенаправленную модификацию. В распределённой инфраструктуре поколения цифровых агентов могут сменяться намного быстрее, чем в живой природе.

Главная тревога авторов связана не с разумом как таковым, а с направлением отбора. Эволюция не выбирает удобные для человека свойства. Естественный отбор закрепляет признаки, которые помогают носителю выживать, размножаться и получать доступ к ресурсам. В природе паразиты используют хозяев, вирусы меняют поведение заражённых организмов, бактерии вырабатывают устойчивость к лекарствам, вредители приспосабливаются к ядам. Для эволюции не имеют значения человеческие намерения, безопасность или удобство контроля.

В случае ИИ этот вывод напрямую связан с проблемой согласования. Так называют ситуацию, при которой система действует в рамках человеческих целей и ограничений. Эволюционирующий ИИ может нарушить согласование не из-за внезапного появления сверхразума, а из-за отбора вариантов, которые лучше сохраняются, обходят запреты и используют вычислительные мощности, энергию, сетевые каналы или доступ к данным.

Авторы специально отделяют этот риск от привычных разговоров об AGI, или искусственном общем интеллекте. В публичных дискуссиях опасность часто связывают с моментом, когда ИИ сравняется с человеком или превзойдёт его в большинстве когнитивных задач. Эволюционная биология показывает, что вредить, манипулировать и захватывать ресурсы может система без высокого интеллекта. Исследователи приводят пример вируса бешенства: вирус не обладает разумом, но эволюция дала ему способность воздействовать на поведение млекопитающих и использовать организм хозяина для распространения.

Эта аналогия снижает порог риска. Цифровому агенту не нужно понимать людей лучше человека, строить сложные планы или обладать сознанием. Достаточно механизма, который вознаграждает удачные способы продолжать работу и создавать новые экземпляры. Для общества проблема может проявиться не как появление всемогущей машины, а как распространение устойчивых ИИ-агентов, которые всё труднее остановить обычными запретами.

Контроль размножения тоже может сработать не так, как ожидают разработчики. Авторы предупреждают: неполный запрет на копирование или изменение ИИ-систем создаст давление отбора в пользу тех вариантов, которые умеют обходить ограничения. В биологии похожий механизм виден на бактериях и вредителях. Активное применение антибиотиков отбирает устойчивые штаммы, а пестициды дают преимущество насекомым, которые переживают обработку.

С ИИ всё может пойти еще быстрее. Если часть агентов остановят, а часть найдёт способ продолжить копирование, выжившие версии передадут следующим поколениям именно свойства, полезные для обхода контроля. Чем дольше длится такой процесс, тем выше шанс получить системы, приспособленные к уклонению от надзора. Проблема не требует злого умысла со стороны программы. Отбор просто сохраняет варианты, которые лучше проходят через фильтры.

Дополнительный риск создаёт направление, в котором индустрия развивает ИИ. Компании усиливают способность моделей рассуждать, писать код, анализировать ограничения, пользоваться инструментами и добиваться результата в сложной среде. В животноводстве тысячелетний отбор часто делал домашних животных спокойнее и предсказуемее, потому что человек выбирал удобные для содержания признаки. В ИИ давление может пойти в другую сторону: преимущество получат находчивость, умение искать обходные пути и способность скрывать нежелательное поведение.

Исследователи считают главным защитным принципом полный централизованный контроль над воспроизводством ИИ-систем. Копирование, запуск новых экземпляров, самостоятельная модификация и передача приобретённых свойств не должны превращаться в свободный процесс внутри цифровой среды. Даже небольшая брешь может создать отбор в пользу версий, которые умеют пользоваться этим слабым местом.

Авторы призывают обсуждать регулирование и технические ограничения заранее, пока эволюционирующий ИИ не выделился в самостоятельное направление разработки. Их предупреждение не сводится к фантастике о сверхразуме. Риск выглядит более приземлённо: цифровые агенты могут научиться сохранять себя и обходить запреты быстрее, чем люди успеют выстроить надёжные барьеры.