ИИ-доктор не ошибается. Это вы неправильно поняли, когда он посоветовал не дышать пару часов

Американцы все чаще доверяют свое здоровье виртуальным помощникам: каждый шестой житель США не реже раза в месяц консультируется с чат-ботами по медицинским вопросам. На фоне растущих очередей в больницах и неподъемных цен на здравоохранение цифровые советники вроде ChatGPT кажутся привлекательной альтернативой традиционной медицине.

Однако исследователи из Оксфордского института интернета бьют тревогу. Масштабный эксперимент, результаты которого опубликованы в работе "Clinical knowledge in LLMs does not translate to human interactions", показал: обращение к автоматизированным системам за консультацией несет серьезные риски. Многие пользователи не только затрудняются сформулировать свои вопросы, но и получают противоречивые ответы, где полезная информация перемешана с потенциально опасными рекомендациями.

В масштабном эксперименте приняли участие 1300 жителей Великобритании. Врачи подготовили для них набор медицинских ситуаций, где требовалось оценить симптомы и принять решение о необходимости обращения за помощью. Участникам предстояло анализировать каждый случай двумя способами: с помощью ведущих языковых моделей (GPT-4, Cohere Command R+ и Llama 3 от Meta) и опираясь на собственные знания. При желании добровольцы могли также использовать интернет-поиск.

Парадоксальные результаты эксперимента удивили научное сообщество: несмотря на то, что современные языковые модели демонстрируют практически идеальные показатели при сдаче медицинских лицензионных экзаменов, их применение в реальных условиях не дало значимых преимуществ. Более того, после общения с цифровыми консультантами некоторые участники начинали недооценивать серьезность своего состояния. Другие неверно интерпретировали полученные рекомендации, что приводило к ошибочным решениям.

Параллельно ученые решили проверить эффективность искусственного интеллекта в реальной медицинской практике. Группа рентгенологов получила задание изучить серию снимков грудной клетки – сначала полагаясь на собственный опыт, а затем подключив к работе алгоритмы машинного обучения. Вопреки ожиданиям, цифровые инструменты никак не улучшили качество диагностики. Схожая картина наблюдалась и в другом опыте: когда терапевтам предложили ставить диагнозы с помощью языковых моделей, точность их заключений выросла лишь на доли процента.

Американская медицинская ассоциация еще в 2023 году выпустила официальный документ, призывающий врачей не опираться на автоматические помощники вроде ChatGPT при принятии решений в своей работе.

Беспокоят и вопросы конфиденциальности. Любой запрос, направленный виртуальному ассистенту, становится частью его обучающей базы. Так же и когда доктор использует нейросеть для составления письма страховой компании, личные данные больного и информация о его заболевании автоматически попадают в цифровое хранилище системы.

В руках злоумышленников данные о здоровье становятся инструментом шантажа, мошенничества или кражи личности. Особую опасность представляет информация о хронических заболеваниях, психических расстройствах или генетических особенностях – она может помешать человеку при трудоустройстве, получении страховки или оформлении кредита. Хакеры могут связать медицинские записи с другими утекшими базами данных, чтобы получить подробные досье на потенциальных жертв. К тому же, они нередко используют украденные сведения для получения дорогостоящих препаратов по чужим рецептам или организации фиктивных страховых выплат.

Несмотря на очевидные риски, технологические гиганты продолжают развивать направление компьютеризированной медицины. Apple разрабатывает программного тренера для контроля сна, физической активности и питания. Amazon активно продвигает идею трансформации здравоохранения с помощью передовых технологий, а Microsoft создает инновационную платформу для сортировки сообщений между пациентами и врачами. Посмотрим, что из этого выйдет и последуют ли за умными инновациями соответствующие регулировки.