Риск ИИ-галлюцинаций. Почему при назначении рецепта последнее слово остается за врачом?
В Московской области поликлиники активно используют ИИ для разных операций: выдача справок, больничных, записей на прием. Врачи же используют нейросети для проверки рецептов. О преимуществах цифровизации алгоритмов и их недостатках MIR24.TV рассказал врач и ИТ-специалисты.
Экономия времени
В Подмосковье больше года пациенты оформляют с помощью виртуального помощника под системным именем Денис справки, больничные, записываются на прием к врачу. Постоянно растущие цифры в отчетах о количестве оформленной документации с его помощью говорят об успешном внедрении технологии в повседневную жизнь. Сейчас через чат-бот и региональный портал Госуслуг «Здоровье» в разделе «Электронные медицинские документы» доступны 11 операций, начиная от выписки из амбулаторной карты и заканчивая справкой о вызове скорой помощи.
Также нейросети помогают врачам с составлением назначений и проверкой рецептов, сообщают региональные СМИ. Насколько данная информация соответствует действительности?
«Информация о внедрении ИИ в Подмосковье актуальна. Чат-бот «Денис» в мессенджере «МАКС» активно используется для оформления справок, выписок из амбулаторной карты и записи к врачу. Это классический пример автоматизации административных задач, который экономит время пациентов и разгружает регистратуру. Что касается «помощи врачам», то речь идет не об одной конкретной нейросети. В регионах и клиниках России и мира активно внедряются различные AI-системы, в том числе DeepSeek, для вспомогательных задач: анализа снимков, обработки лабораторных данных и даже генерации предварительных вариантов лечения. Однако эти системы всегда используются как вспомогательный инструмент».
Собеседник считает, что с медицинской точки зрения, такой подход оправдан и не опасен только при соблюдении при соблюдении главного правила — окончательный диагноз и назначение лечения определяет исключительно медицинский работник.
«Исследования подтверждают, что диагностические навыки современных нейросетей пока сопоставимы с уровнем врачей без большой практики, но уступают опытным специалистам», — говорит он.
Всего лишь шпаргалка
Специалисты по ИИ отмечают оптимизацию бюрократических процессов в пользу личного приема пациента, но всю ответственность за принятие решений оставляют за живым человеком с дипломом врача.
«Судить о конкретной подмосковной системе без доступа к ее документации нечестно, поэтому отвечу о принципах, на которых должны строиться такие медицинские ИИ-помощники. Здесь два разных класса задач. Оформление справок, запись к врачу, поиск по регламентам — это работа с текстом и данными, где ошибку легко заметить и исправить. А назначения и схема лечения остаются зоной решения врача: у него лицензия и личная ответственность за пациента. Безопасная система устроена так, что каждый ее ответ опирается на конкретный документ и дату редакции, и врач всегда может сверить машинный вывод с первоисточником. Тот же принцип снимает риск потери бдительности: спорный или редкий случай система обязана передавать человеку, а ответственность за итог остается за врачом при любом уровне автоматизации. Освобожденная от рутины часть дня превращается в дополнительное время с пациентом – но только там, где границу между машиной и врачом провели грамотно».
К тому же, критическому мышлению ИИ еще не обучили.
«Главный риск не «упрощение» работы, а возможное снижение настороженности, — замечает Михаил Гаврикин. — Когда врач доверяет подсказке ИИ, не перепроверяя ее, он может пропустить нестандартный случай. К тому же, исследования показывают, что «AI- галлюцинации», то есть выдумки — реальная проблема, и необоснованные рекомендации от нейросети могут встречаться. Важно, чтобы врач воспринимал ИИ именно как советчика, а не как авторитетного коллегу, сохраняя критическое мышление и клиническую бдительность».
О личной ответственности человека за результат назначения подчеркивает еще один эксперт в сфере цифровых технологий.
«Каждый врач, который использует такую технологию, должен понимать: ответственность за принятое решение в любом случае лежит на нем. И то, насколько легко он будет относиться к рекомендациям нейросети, может критически повлиять на его профессиональную жизнь. Использовать подобные технологии, безусловно, стоит, потому что они существенно упрощают работу врача: не нужно каждый раз копаться в справочниках, искать информацию в интернете или дергать коллег. Но полностью полагаться на машину нельзя. Повлияет ли это на квалификацию и профессиональные навыки в худшую сторону? Здесь все зависит от самого человека. Кто-то использует ИИ как вспомогательный инструмент, и это нормально. А кто-то может начать полностью полагаться на него».
Юрий Ковалев сравнивает ИИ со шпаргалкой и рекомендует подумать о своей дальнейшей карьере.
«Если ты хорошо знаешь предмет и хочешь подстраховаться, сверившись с ней, — пожалуйста. Но если ты полностью полагаешься на шпаргалку, не понимая, насколько написанное применимо к конкретному случаю, у тебя есть все шансы «вылететь» с работы. С ИИ-помощниками ситуация примерно такая же», — предостерег он.
По открытым данным за текущий год, в Московской области было оформлено 383 тысяч справок через электронные сервисы и проверено свыше 1 миллиона рецептов с помощью нейросетей.