ChatGPT отвечает неправильно на 52% вопросов, касающихся программирования, — исследование

17:00, 28 мая 2024

Исследователи также критикуют ChatGPT за чрезмерно длинные и сложные ответы, содержащие больше деталей, чем нужно.

ChatGPT отвечает неправильно на 52% вопросов, касающихся программирования, — исследование

Следите за актуальными новостями в соцсетях SUD.UA

ChatGPT дает 52% неправильных ответов на вопросы, касающиеся программирования. Об этом говорится в исследовании Университета Пердью, недавно представленном на конференции Computer-Human Interaction.

Для исследования просмотрели более 517 вопросов в Stack Overflow.

Эксперты провели анализ ошибок искусственного интеллекта и пришли к выводу, что 54% из них возникли из-за неправильного понимания контекста ChatGPT. Дополнительно, 36% ответов содержали фактические неточности, 28% – логические ошибки, а 12% содержали терминологические неточности.

В некоторых ответах ChatGPT встречалось несколько ошибок, например, ответ мог содержать логические недостатки (28%) из-за неправильно воспринятого контекста (54%).

Также исследователи критикуют ChatGPT за чрезмерно длинные и сложные ответы, содержащие больше деталей, чем нужно. Это приводит к потенциальной путанице и отвлечению внимания. Однако, по результатам опроса 12 программистов, треть из них предпочли четкие и похожие на учебник ответы ChatGPT.

"Поскольку ChatGPT дает большое количество неправильных ответов, наши результаты подчеркивают необходимость осторожности и осведомленности об использовании ответов ChatGPT в задачах программирования", - заключают авторы исследования.

Подписывайтесь на наш Тelegram-канал t.me/sudua и на Google Новости SUD.UA, а также на наш VIBER, страницу в Facebook и в Instagram, чтобы быть в курсе самых важных событий.

ChatGPT отвечает неправильно на 52% вопросов, касающихся программирования, — исследование

Читайте также