Ажіотаж навколо ШІ не оминув і програмістів – багато хто з них вважають за краще звертатися за порадою до ChatGPT, а не до спеціалізованих ресурсів. Через це Stack Overflow був змушений звільнити 30% своїх співробітників. Однак виявилося, що покладатися на нову технологію ще рано – вона “косячить” частіше, ніж у половині випадків.
Як показало дослідження, представлене командою фахівців з Університету Пердью на конференції Computer-Human Interaction, ChatGPT – ненадійний порадник для програмістів. Учені з’ясували, що 52% відповідей, згенерованих ChatGPT, містять помилки та неточності. Вони проаналізували 517 запитань зі Stack Overflow і також виявили, що 77% відповідей від ChatGPT більш багатослівні, ніж відповіді людей, а 78% відповідей відрізняються від людських за ступенем невідповідності.
Дослідження також включало лінгвістичний аналіз 2000 випадкових відповідей ChatGPT. Команда виявила, що відповіді ШІ є більш формальними і при цьому висловлюють менше негативних емоцій. Простіше кажучи, типова відповідь ChatGPT схожа на параграф із доступно написаного підручника, а сам чат-бот не схильний критикувати того, хто запитує. Він гранично ввічливий навіть якщо відповідає на найбезглуздіші запитання.
Під час опитування 12 програмістів з’ясувалося, що 35% з них віддають перевагу відповідям ChatGPT і не помічають помилок у 39% випадків. Ймовірно, останнє відбувається якраз через характерний тон мови ШІ, якому люди підсвідомо схильні довіряти. Дослідники зауважують, що багато користувачів знижують пильність через ввічливе звернення, чітко сформульовані відповіді в стилі підручника та їхню повноту. Це робить поради ChatGPT більш переконливими, незважаючи на помилки, що містяться в них. Крім того, до чат-бота можуть частіше звертатися люди, які бояться критики та грубості з боку консультантів-людей.
Дослідження показує, що у ChatGPT ще багато недоліків. Однак це не втішає звільнених співробітників Stack Overflow і програмістів, яким доводиться шукати помилки в коді, написаному ШІ.