Представители почти 200 учебных заведений протестировали технологию OpenAI на экзаменах по бухгалтерскому учету. В эксперименте задействовали оригинальную модель ChatGPT.
По словам разработчиков, бот «исключительно хорошо справился с различными экзаменами». Чтобы проверить это утверждение, профессор Дэвид Вуд из Университета Бригама Янга организовал масштабное исследование. Ему удалось привлечь 327 соавторов из 186 учебных заведений в 14 странах. Они подготовили для ChatGPT 25 181 экзаменационный вопрос по бухгалтерскому учету. Кроме того, студенты-старшекурсники из Университета Бригама Янга отправили в ChatGPT еще 2 268 вопросов из банка тестов по учебникам.
Вопросы касались информационных систем бухгалтерского учета (АИС), аудита, финансового учета, управленческого учета и налогообложения. Они различались как по сложности, так и по типу.
По 11,3% вопросов ChatGPT набрал больше баллов, чем живые люди. Особенно хорошо он справился с АИС и аудитом. При этом налоговые, финансовые и управленческие оценки дались искусственному интеллекту намного хуже, возможно, из-за трудностей с математическими процессами.
Что касается типа вопросов, ChatGPT лучше справился с заданиями «правда/ложь» (68,7% правильных ответов) и вопросами с множественным выбором (59,5%), но испытывал трудности с вопросами, где требовался короткий ответ (от 28,7% до 39,1%). Исследователи отметили, что чат-боту было сложно отвечать на вопросы высокого порядка. Периодически он отвечал на один и тот же вопрос по-разному и иногда выдумывал факты. В некоторых случаях система генерировала фейковые ссылки на несуществующие произведения и авторов, сообщает SciTech Daily.
«Пытаться учиться исключительно с помощью ChatGPT – глупая затея», – отметила одна из участниц исследования Джессика Вуд.
Ранее сообщалось, что житель Таиланда выиграл с помощью чат-бота ChatGPT в лотерею. Его приз составил около двух тысяч бат.
Подробнее в сюжете: Технологии
Читайте также: