Ученые научили искусственный интеллект строить правдоподобные сценарии редких катастроф, даже если модель никогда не видела подобных событий во время обучения. Новый метод может помочь оценивать последствия рекордных ливней, наводнений, обвалов финансовых рынков и других событий, для которых почти невозможно собрать достаточно примеров.
Специалисты представили метод η-learning. Обычные модели хорошо работают там, где обучающих данных много, но начинают ошибаться на редких событиях. Возникает замкнутый круг: чтобы научиться предсказывать катастрофу, системе желательно сначала увидеть несколько похожих катастроф.
η-learning обходит ограничение с помощью заранее известных статистических свойств редких событий. Модель продолжает учиться на доступных наблюдениях, но одновременно должна соблюдать заданное распределение экстремальных значений. Нужные сведения можно получить из физических закономерностей, неразмеченных данных или статистического предположения о том, как должны распределяться редкие события.
Авторы проверили подход на пяти задачах, причём из обучающих наборов намеренно исключили интересующие их экстремальные случаи. Для проверки на реальных данных специалисты взяли 25 лет почасовых сведений ERA5-Land об осадках над континентальной частью США за 1999–2023 годы. Особенно показателен эксперимент, где модель высокого разрешения обучалась лишь на данных за полгода. Обычный подход плохо воспроизводил редкие сильные осадки, тогда как η-learning приблизил распределение полученных значений к статистике полного 25-летнего набора.
За способность моделировать редкие явления приходится платить некоторой потерей точности. В опыте с 9044 полями осадков среднеквадратичная ошибка выросла на 8,13%, с 2,878 до 3,112. При этом показатель структурного сходства снизился лишь на 0,30%, с 0,947 до 0,944. Иными словами, пространственная структура результата почти не пострадала, хотя отдельные значения стали менее точными.
Метод способен работать и с событиями, которых нет даже в полном историческом наборе. Специалисты задали искусственное распределение с более высокой вероятностью очень сильных осадков и получили соответствующие сценарии. Однако такие результаты нельзя считать прогнозом. Если исходное предположение о вероятностях ошибочно, η-learning перенесёт ошибку в созданные экстремальные события. В одном из испытаний по мере усиления ошибки в заданном распределении среднеквадратичная ошибка результата выросла на 20,55%.
Есть и другое ограничение. Система может подобрать статистически правдоподобную катастрофу, но не гарантирует правильное место, время или физический механизм её возникновения. Авторы предлагают в будущем добавить пространственные и временные ограничения, законы сохранения и другие физические условия.
Подход пригодится не только для погоды. Возможные области применения включают финансовые кризисы, управление критически важными системами, робототехнику и оценку рисков. Вместо того чтобы пытаться угадать единственную будущую катастрофу, η-learning позволяет создавать множество статистически допустимых сценариев и заранее проверять, насколько системы готовы к событиям, которых прежде не происходило.