ИИ как на ладони: Patchscopes от Google решает проблему нехватки прозрачности LLM

Команда исследователей из Google Research представила новую разработку под названием «Patchscopes». Этот фреймворк призван помочь в исследовании внутренних, скрытых представлений, которые используются в больших языковых моделях (LLM). Такие представления отображают, что именно усвоила модель в процессе обучения.

Исследование внутренних представлений может способствовать глубокому научному пониманию работы моделей и предоставить возможность контролировать их поведение. Ави Кациулару и Асма Гандехариун, научные сотрудники Google Research, поделились, что благодаря «Patchscopes» можно не только исправлять ошибки в работе моделей, связанные с искажением фактов, но и изучать, как модели строят свои предсказания в сложных сценариях.

Фреймворк «Patchscopes» включает в себя четыре этапа: настройку, цель, модификацию и раскрытие. Он позволяет вносить внутренние представления модели в специально подготовленные запросы и анализировать полученные данные для создания понятных объяснений того, как модель обрабатывает информацию.

По словам исследователей, данный подход объединяет и расширяет существующие техники интерпретируемости и открывает новые возможности для понимания того, как скрытые представления захватывают нюансы значений во входных данных модели. Это облегчает исправление некоторых видов ошибок в рассуждениях.

Команда Google Research выразила восторг от возможностей, которые открывает «Patchscopes» для повышения надёжности и прозрачности использования мощных языковых моделей, ставших неотъемлемой частью повседневной жизни. Это открытие имеет важные последствия для улучшения работы языковых моделей, что позволит их использовать более эффективно и безопасно.