ChatGPT, Gemini и Grok давали неправильные советы о здоровье почти в половине случаев — исследование

Популярные ИИ-чатботы нередко дают неточные или вводящие в заблуждение ответы на вопросы о здоровье. К такому выводу пришли авторы исследования, опубликованного в журнале BMJ Open.

Ученые проверили пять широко используемых сервисов — Gemini, DeepSeek, Meta AI, ChatGPT и Grok. В феврале 2025 года им задали 50 вопросов по темам, где особенно часто встречается медицинская дезинформация: рак, вакцины, стволовые клетки, питание и спортивные результаты. Всего исследователи проанализировали 250 ответов.

Выяснилось, что 49,6% ответов оказались проблемными. Из них 30% эксперты сочли «в некоторой степени проблемными», а еще 19,6% — «серьезно проблемными». Иными словами, почти каждый второй ответ мог запутать пользователя, подтолкнуть его к неэффективным действиям или даже потенциально навредить, если следовать таким советам без консультации врача.

Лучше всего чатботы справлялись с вопросами о вакцинах и раке, а хуже — с темами стволовых клеток, питания и повышения спортивных показателей. Кроме того, открытые вопросы, где нейросеть должна развернуто рассуждать, чаще приводили к более сомнительным ответам, чем вопросы с четко заданными вариантами.

Еще одна проблема — ссылки на источники. Хотя чатботы часто отвечали уверенно, ни один из них не смог дать полностью точный и полный список научных ссылок. Медианный показатель полноты ссылок составил всего 40%, а часть источников оказалась вымышленной или неполной. Авторы также отметили, что все ответы были написаны сложным языком, который скорее подходит людям с уровнем образования не ниже колледжа.

Авторы исследования предупреждают: использовать ИИ как замену врачу по-прежнему опасно. По их оценке, без понятных правил, контроля и просвещения такие сервисы могут не только помогать искать информацию, но и усиливать распространение медицинских заблуждений.