Ученые отучили искусственный интеллект выдавать недостоверную информацию
Развитие искусственного интеллекта неожиданно столкнулось с новой проблемой: нейросети научились выдавать недостоверную информацию. При составлении справок по запросам пользователей ИИ все чаще ссылается на ложные или непроверенные данные. Причина кроется в некритичном отношении нейросетей к интернет-источникам, где можно найти любую информацию. Уже произошло несколько громких инцидентов, в частности в журналистике, когда репортеры, доверившись авторитету робота, публиковали сведения без проверки.
Исследователи из красноярского Университета имени Решетнева разработали методику, позволяющую минимизировать количество выдуманных или ошибочных фактов в ответах нейросетей. Сегодня для этого применяются RAG-системы (Retrieval-Augmented Generation — генерация с дополненной выборкой). В таких системах для ИИ формируется так называемая «база знаний» — набор качественных и проверенных источников, на основе которых нейросеть ищет ответ. Хотя это в целом снижает риск дезинформации, ошибки все же возможны из-за опечаток, противоречий в запросе или неполноты базы данных.
Команда под руководством доцента кафедры систем автоматизированного и интеллектуального обеспечения Анастасии Поляковой проанализировала типичные ситуации, в которых ИИ склонен врать, и создала классификатор таких случаев. На его основе разработана автоматизированная инструкция для стресс-тестирования: система генерирует проверочные запросы, сравнивает полученные ответы с эталонными и оценивает их точность по специальным метрикам и семантической близости.
На основе первых результатов ученые создали прототип модуля мониторинга, работающего в реальном времени. Модуль регистрирует все входящие запросы и контекст диалога, оценивает риск недостоверного ответа и присваивает каждой ИИ-модели показатель уверенности. В случае ошибки или низкой уверенности модуль сигнализирует оператору. По словам ученых, ключевое преимущество методики — ее универсальность. Она может применяться для чат-ботов, государственных сервисов с ИИ и цифровых помощников в любой профессиональной сфере.
Ранее соучредитель компании Anthropic Джек Кларк заявил, что система искусственного интеллекта сможет сделать открытие, достойное Нобелевской премии, уже в ближайший год. Кроме того, по его мнению, через два года двуногие роботы начнут помогать продавцам, а к концу 2028 года ИИ смогут создавать собственных преемников.