«Самолёты проходят проверку, а ИИ — нет». Глава Anthropic хочет это исправить, пока не взлетели опасные модели

ИИ развивается быстрее, чем государственные правила успевают меняться. Глава Anthropic Дарио Амодеи предупредил: за четыре года передовые модели прошли путь от слабого помощника по коду до инструмента, который пишет значительную часть программ в крупных ИИ-компаниях. Если законы масштабирования сохранят силу еще год или два, ИИ может стать инфраструктурной технологией с влиянием на экономику, безопасность, науку и государственное управление.

Амодеи опубликовал эссе Policy on the AI Exponential на следующий день после релиза Claude Fable 5 и Claude Mythos 5. Глава Anthropic считает, что политика пока реагирует слишком медленно. Законодателям нужны годы на обсуждения, согласования и принятие решений, а ИИ за тот же срок может пройти путь от любопытной игрушки до технологии, меняющей экономику, безопасность и геополитику. По мнению Амодеи, прежняя осторожная позиция уже не подходит: риски стали достаточно заметными, чтобы переходить от мягкой прозрачности к обязательным правилам.

Поводом для жесткого заявления стали новые оценки Anthropic по кибербезопасности. Компания связывает опасения с возможностями Claude Mythos Preview и других передовых моделей, которые уже могут влиять на защиту финансового сектора, критической инфраструктуры и национальной безопасности. SecurityLab ранее писал, что Mythos способен искать и использовать уязвимости почти на уровне элитных специалистов, а позднее Anthropic расширила Project Glasswing на организации из 15 стран. Следующими угрозами Амодеи называет биологические риски, киберриски и автономное поведение ИИ-систем, когда программа получает слишком много самостоятельности. Отдельные тесты уже показали, что модели меняют ландшафт атак быстрее, чем защитники успевают перестраивать процессы.

Anthropic больше не считает прозрачность достаточной мерой. В 2025 году компания поддерживала SB 53 в Калифорнии, законопроект RAISE в Нью-Йорке, SB 315 в Иллинойсе и идею о федеральном стандарте прозрачности. Разработчики должны были раскрывать методики тестирования, описывать процедуры безопасности и сообщать о критических инцидентах. Теперь Амодеи предлагает обязательные проверки мощных моделей до выпуска.

В основе предложения лежит аналогия с авиацией. Как самолеты проходят сертификацию перед выходом на рынок, передовые ИИ-модели должны проходить технические проверки и аудит. Если независимая экспертиза выявит неприемлемый риск, государство должно получить право не только задержать запуск модели, но и ограничить или отозвать уже выпущенную систему. Anthropic отдельно опубликовала Advanced AI Framework с более подробным описанием подхода к надзору за опасными моделями.

Оценка должна охватывать четыре направления: кибербезопасность, создание биологического оружия, потерю контроля над автономными системами и автоматизированные исследования, ускоряющие остальные угрозы. Проверку может проводить государственное ведомство по аналогии с авиационным регулятором или частные организации, работающие по модели регуляторных рынков. Амодеи отдельно оговаривает: полномочия должны быть узкими, защищенными от политического давления и привязанными только к самым опасным категориям риска.

В отдельной рамке Anthropic предлагает применять требования к разработчикам, которые обучают модели с затратами выше 10²⁵ операций с плавающей точкой, получают более 500 млн долларов годовой выручки от ИИ или тратят больше 1 млрд долларов в год на исследования и разработки в этой сфере. Компании должны тестировать модели, раскрывать основные выводы, привлекать независимых оценщиков и поддерживать серьезную программу безопасности. Особое внимание Амодеи уделяет защите весов моделей и обучающей инфраструктуры от внешних атак, инсайдеров и попыток кражи.

Разработчиков передовых моделей Амодеи предлагает обязать регулярно проводить красные команды и тесты на проникновение, сотрудничать с государством против крупных групп угроз и быстро сообщать о серьезных инцидентах. К критическим случаям относятся утечка весов, злонамеренная модификация модели, ущерб от реализации катастрофического риска, потеря контроля с вредом для людей и обманное поведение модели вне проверочного сценария.

В эссе Амодеи отдельно разбирает старый спор о регулировании сложных технологий. С одной стороны, государство снижает вред от опасных продуктов. С другой стороны, чрезмерные требования могут замедлить полезные разработки. Автор ссылается на Хайека и дилемму Коллингриджа: регуляторы часто видят риски слишком рано, когда форма угрозы еще неясна, или слишком поздно, когда технология уже разошлась по рынку. По мнению главы Anthropic, ИИ подошел к моменту, когда прежней осторожности уже мало.

Отдельный блок посвящен рынку труда. Амодеи не называет безработицу желательной целью и пишет, что компании и государства должны снижать риск долгосрочной потери рабочих мест. SecurityLab ранее писал о его прогнозе, по которому ИИ может резко ударить по офисным работникам начального уровня. Модели могут заменить значительную часть когнитивных задач быстрее прежних технологий, поэтому обычная логика адаптации рынка может не сработать. В ответ Anthropic предлагает точнее измерять влияние ИИ на занятость через Economic Index, вводить страхование зарплаты, давать налоговые стимулы за сохранение сотрудников, финансировать переобучение и развивать сервисы быстрого поиска работы.

Под экономические инициативы Anthropic готовит отдельное финансирование. Компания заявила о пакете на 350 млн долларов: 200 млн долларов пойдут в Economic Futures Research Fund для изучения влияния ИИ на занятость и проверки возможных мер поддержки, еще 150 млн долларов направят на национальную программу стипендий для молодых специалистов, которые будут помогать распространять пользу ИИ в разных сообществах.

Если спрос на человеческий труд снизится надолго, понадобятся более крупные меры. Среди вариантов Амодеи называет базовый доход, налоги на компании, получающие выгоду от ИИ, повышение налога на прирост капитала и счета всеобщего капитала. По его оценке, быстрый экономический рост от ИИ может создать налоговую базу для более широкого распределения выгоды. Автор отдельно напоминает о парадоксе Джевонса: прежние технологии часто создавали новый спрос на труд, но скорость развития ИИ может сломать привычные механизмы восстановления занятости.

Споры вокруг дата-центров Амодеи считает симптомом более широкой тревоги. Пользователи и местные власти спорят не только о счетах за электричество, а о будущем рабочих мест, доходов и контроля над технологией. Anthropic уже пообещала покрывать рост тарифов на электроэнергию, связанный с работой собственных центров обработки данных, но глава компании считает, что без честного разговора об экономических последствиях напряжение будет расти.

В медицине, энергетике и материаловедении ИИ может принести огромную пользу, но старые регуляторные процедуры рискуют стать узким местом. В биомедицине путь нового препарата через FDA и EMA обычно занимает семь-восемь лет. Амодеи предлагает заранее готовить правила для ИИ-моделирования действия лекарств, прогнозов токсичности, подбора дозировок, проверки биомаркеров и синтетических контрольных групп в клинических испытаниях. Без реформ поток новых разработок может перегрузить систему, созданную для более медленной науки.

Еще один риск связан с властью государства и компаний. Мощный ИИ может усилить слежку, автоматизировать применение оружия и дать опасным игрокам способ обойти демократический контроль. Амодеи предлагает запретить применение полностью автономного оружия внутри страны, закрыть лазейку с покупкой данных у брокеров и гарантировать гражданам доступ к ИИ-помощи при спорах с государством, если власти используют сопоставимые системы. В качестве правовой основы автор упоминает Posse Comitatus, FISA, административные процедуры и право на защиту.

Амодеи также предупреждает, что слишком мощные компании могут начать вести себя почти как государственные структуры. В истории уже были примеры, когда частный бизнес получал политический вес, сопоставимый с властью государства. Среди таких примеров автор приводит Ост-Индскую компанию. По его мнению, ИИ нельзя полностью доверять ни правительствам, ни корпорациям: обе стороны нуждаются в сдержках, проверках и понятной ответственности. В самой Anthropic такую роль частично выполняет внутренняя политика масштабирования, но Амодеи считает, что отрасли нужны более сильные механизмы.

Геополитическую часть автор описывает как борьбу за главный источник военной и экономической мощи. Демократии, по мнению Амодеи, должны создать международную коалицию вокруг безопасного развития ИИ. Внутри коалиции страны могли бы делиться чипами, оборудованием для производства полупроводников, стандартами безопасности, средствами киберзащиты и результатами полезных внедрений. Поставки передовых чипов и производственного оборудования автор предлагает ограничивать для государств, которые используют ИИ для подавления и военного давления. В качестве шагов в том же направлении Амодеи называет законопроекты MATCH и OVERWATCH.

Отдельно Амодеи говорит о военном применении ИИ. По его логике, страны-союзники должны совместно развивать ИИ-защиту, кибероборону, производство дронов, закрытые вычислительные мощности, научные разработки и обмен разведданными. SecurityLab писал, что, по данным Financial Times, доступ к Claude Mythos могла получить АНБ. Официально Anthropic и американская спецслужба не раскрывали детали возможного применения модели.

Вокруг предложений Anthropic уже появилась критика. Оппоненты видят риск регуляторного захвата: обязательные аудиты и сложные процедуры проще пройти крупным игрокам, которые уже построили внутреннюю инфраструктуру безопасности, а требования к защите весов могут сильнее ударить по разработчикам открытых моделей. Сам Амодеи настаивает, что полномочия государства должны быть ограничены четырьмя категориями катастрофических рисков и защищены от политического произвола.

Амодеи отвергает идею, что опасения вокруг ИИ связаны только с плохим маркетингом. Люди беспокоятся из-за реальных рисков, а не из-за недостатка красивых презентаций, считает глава Anthropic. По оценке Амодеи, окно для спокойной политики пока открыто: регуляторы уже видят доказательства рисков, бизнесу понятны источники экономической выгоды, а общество уже реагирует на угрозу сокращений и усталость от гонки ИИ. Общественное давление может ускорить принятие правил без запрета полезных разработок.