Что если ИИ будет знать все химические соединения? Отвечают учёные MIT

Ученые из Массачусетского технологического института (MIT) провели исследование, направленное на изучение масштабируемости глубоких нейронных сетей (Deep neural networks, DNN) в области химии.

Результаты, опубликованные в журнале Nature Machine Intelligence , демонстрируют, как увеличение размера моделей и объема обучающих данных способствует улучшению их эффективности. Исследование фокусируется на масштабировании моделей, обученных на данных по химии, которое может помочь в открытии новых лекарств.

Команда исследователей начала работу над проектом в 2021 году, до выпуска известных ИИ-платформ, таких как ChatGPT и DALL-E 2. Специалисты изучали масштабирование двух различных типов моделей для анализа химических данных: большой языковой модели (Large Language Model, LLM) и модели на основе графовых нейронных сетей (Graph Neural Network, GNN).

Авторы работы разработали ChemGPT, модель в стиле GPT, предназначенную для предсказания следующего элемента в строке, представляющей молекулу, а также семейство GNN-моделей, обученных прогнозировать энергию и силы молекулы.

Исследователи обнаружили возможность масштабируемости химических моделей, аналогичное в LLM-моделях и моделях для различных приложений. Также было установлено, что на данный момент нет ограничений для масштабирования химических моделей, что открывает возможности для дальнейших исследований с использованием более мощных вычислительных систем и больших наборов данных.

Исследование подчеркивает потенциал двух типов ИИ-моделей для проведения химических исследований и показывает, насколько их производительность может улучшиться при масштабировании. Результаты могут стимулировать дополнительные исследования возможностей улучшения моделей, а также других техник на основе DNN для конкретных научных приложений.

Специалисты также отметили, что с момента публикации их работы уже появились последующие исследования, изучающие возможности и ограничения масштабирования химических моделей, а также упомянули о своей работе над генеративными моделями для проектирования белков и влиянии масштабирования на модели для биологических данных.