Google научил ИИ читать мысли через умные часы

Исследователи Google представили новую архитектуру искусственного интеллекта под названием SensorLM. Это семейство моделей, которое учится понимать сигналы с носимых устройств и переводить их в осмысленный человеческий язык. Система обучалась на колоссальном объёме данных — почти 60 миллионов часов записей, полученных от 103 тысяч пользователей умных часов Fitbit и Pixel Watch. Все данные были обезличены и собраны с согласия участников в течение двух месяцев весной 2024 года.

Современные фитнес-браслеты и смарт-часы фиксируют огромное количество информации: пульс, активность, сон, физические упражнения. Но даже если устройство показывает учащённое сердцебиение, мы не всегда понимаем, чем оно вызвано. Это может быть пробежка в гору, а может быть стресс от выступления перед публикой. Сегодняшние технологии плохо справляются с интерпретацией такого контекста.

Проблема в том, что раньше не существовало достаточно крупных и описательных наборов данных, где каждый фрагмент сенсорных показаний сопровождался бы точным текстовым описанием. Ручная аннотация миллионов часов — задача практически невозможная. Чтобы решить эту проблему, разработчики SensorLM создали уникальный алгоритм, который сам генерирует текстовые подписи к сенсорным данным, анализируя статистику, события и поведенческие паттерны. Это позволило собрать крупнейший в истории датасет, объединяющий сигналы и описания.

Модель SensorLM обучалась с использованием двух стратегий. Первая — контрастное обучение, когда ИИ должен сопоставить кусок данных с правильным описанием среди множества вариантов. Вторая — генеративное обучение, где модель сама учится создавать текст на основе сигналов. Вместе эти подходы помогают системе глубоко понять, как данные тела соотносятся с нашей повседневной деятельностью.

SensorLM показывает выдающиеся результаты в задачах распознавания активности и генерации описаний даже без дообучения. Она способна различать два десятка разных действий без подготовки и учится на нескольких примерах, если они всё же предоставлены. Кроме того, система умеет находить нужную активность по текстовому запросу или наоборот — описывать, что происходило, опираясь только на сенсорные данные. В экспериментах SensorLM уверенно обошла предыдущие модели по точности описания и согласованности текста с реальностью.

Одним из главных выводов работы стало подтверждение того, что чем больше данных и ресурсов получает модель, тем выше становится её точность. Это означает, что потенциал технологии ещё далеко не исчерпан.

SensorLM открывает путь к более глубокой персонализации в сфере здоровья. Вместо сухих чисел на экране мы приближаемся к ИИ, который может рассказать, что происходило с телом человека и почему, понятным языком. Авторы надеются, что в будущем такие модели станут основой для цифровых помощников в области медицины и здоровья, которые смогут взаимодействовать с пользователями через естественный язык и помогать им принимать более осознанные решения.