Уверенный тон — не гарантия правды. Эксперты рассказали, как отличить достоверную информацию от «галлюцинаций» ИИ
Многие уже убедились, что искусственный интеллект (ИИ) порой выдает блестящие решения, экономит часы работы – а потом вдруг подсовывает полную ерунду с таким видом, будто это абсолютная истина. Называется красиво: «галлюцинации ИИ». Суть простая: нейросеть генерирует фактически неверную или полностью вымышленную информацию, но подает ее уверенно и правдоподобно. Причем так, что не сразу распознаешь подвох. Эксперты рассказали в интервью MIR24.TV, как отличить уверенную болтовню ИИ от правды и когда лучше не полагаться на нейросеть вовсе.
«ИИ – это математическая машина без понимания контекста. Она не отличает осмысленные предложения от бессмысленных. Галлюцинации возникают из-за вероятностной природы языковых моделей. Когда у ИИ нет точных данных, он создает правдоподобный, но насквозь ложный контент на основе статистических связей. Большинство моделей работают на фиксированных наборах данных, без доступа к актуальной информации в реальном времени. Поэтому могут спокойно «додумывать» факты о недавних событиях, и делают это мастерски».
Признаки того, что нейросеть вам врет
Вот несколько простых признаков, по которым можно понять, что перед вами не факт, а красивая болтовня. Их сформулировал эксперт по нейросетям, создатель нейро-видеопродакшена, специалист по созданию AI-видео Сергей Стахов.
Слишком уверенный тон без конкретики. Если ответ звучит как лекция, но в нем нет точных дат, цифр, имен, ссылок на исследования или документы – это тревожный звоночек. ИИ часто компенсирует отсутствие знаний уверенной подачей. Формулировки вроде «как правило», «известно, что», «ученые считают» без уточнений – классический маркер сомнительного ответа.
Логично, но не проверяемо. Нейросеть отлично собирает текст так, чтобы он звучал логично. Проблема в том, что логика не равна правде. Особенно это заметно в темах медицины, финансов, права и истории.
«Нейросеть может придумывать странные даты, путать фамилии, добавлять в технические описания несуществующие функции и одновременно выдавать противоречащие друг другу утверждения».
Ответ «под вас». ИИ умеет подстраиваться под ожидания собеседника. Если вы задаете вопрос с уже заложенным выводом, нейросеть может начать его поддерживать, даже если он спорный. Это не злой умысел – это особенность модели. Но именно так рождаются красивые, удобные и при этом ошибочные выводы.
«Мимо задачи». Наконец, настораживать должен красиво оформленный, структурированный, но «мимо задачи» ответ: на первый взгляд все по теме, но конкретный вопрос так и остается без прямого решения. Часто при этом игнорируются ограничения задачи или заданные стоп-слова, и приходится запускать новую итерацию диалога, делится Кирилл Пшинник.
Отсутствие нюансов. Реальность почти всегда сложнее, чем ответ «да» или «нет»». В ней есть оговорки, условия и исключения.
«Если ИИ по сложному вопросу выдает жесткое, «черно-белое» утверждение без «зависит от» и «в некоторых случаях», он, вероятно, чрезмерно упростил ситуацию ради связного ответа».
Проверка источников за две минуты
«Как проверить корректность ответов за пару минут? Попросите ИИ выдать 2-3 четких факта: решить конкретное уравнение, назвать дату принятия закона, указать историческое событие. Затем быстро перепроверьте их по независимым источникам. Используйте сайты профильных организаций, крупные цитируемые СМИ, авторитетные словари и справочники. Обращайте внимание на домен, репутацию и наличие ссылок на официальные документы. Если конкретики и подтверждений вы не нашли, то ответ ИИ корректнее считать рабочей гипотезой, а не установленным фактом».
Вот несколько практических советов, которые помогут не попасть впросак с недостоверными ответами ИИ. Ими поделился эксперт в области машинного обучения и ИИ, заведующий лабораторией в ИПУ РАН, основатель сервиса интеллектуальной проверки академических работ Юрий Чехович.
- Задавайте вопросы в нейтральном ключе, так, чтобы нельзя было понять, какой ответ для вас является ожидаемым – сервисы чаще настроены так, чтобы подтверждать взгляды пользователя, даже если они ошибочны.
- Старайтесь использовать наиболее актуальные модели – прогресс в области сейчас такой, что качество растет очень быстро.
- Требуйте ссылок на источники информации, желательно сразу в исходном запросе.
- Обязательно перепроверяйте приведенные факты, переходя в представленные источники – довольно часто бывает, что источник или не соответствует запросу вовсе, или не содержит указываемой информации.
Иногда бывает полезно устроить проверку уточняющими вопросами или привлекая несколько сервисов так, чтобы они перепроверяли ответы друг друга. Различные модели ИИ обучались на разных наборах данных, и если они расходятся в фактах, без ручной проверки доверять нельзя ни одной.
Когда на нейросеть лучше не полагаться вовсе?
Как рассказал эксперт по электронной коммерции и искусственному интеллекту Дмитрий Тимошенко, есть минимум три области, в которых ИИ лучше не использовать.
Медицина и право. Все, что касается здоровья, лечения или юридических обязательств. ИИ может перепутать дозировку, симптомы или сослаться на закон, которого не существует. Да, некоторые компании уже предлагают отдельные специализированные сервисы для ответов на медицинские и правовые вопросы, но даже их стоит воспринимать как вспомогательный инструмент, а не замену врачу или юристу.
События последних суток. Нейросеть живет в прошлом. Ее знания ограничены датой окончания обучения, если только вы не используете модель с прямым доступом к актуальному поиску.
Сложные математические расчеты. Без специальных инструментов нейросети часто ошибаются в больших числах. Они скорее «описывают» решение словами, чем действительно его вычисляют.
Путешествия. Уже описано много случаев, когда люди полагались на ответ ИИ сервиса о необходимости визы при въезде в страну, возможности покупки билетов и, получая ложную информацию, срывали себе отпуск, говорит Юрий Чехович.
Персональные данные. По словам эксперта, совершенно точно не стоит загружать в ИИ сервис свою личную информацию, свои или чужие неопубликованные материалы, документы, относящиеся к коммерческой тайне и т.п. ИИ модель использует эти данные для обучения и легко может выдать их при последующих запросах другим пользователям.