Дослідження компанії Uplevel показало, що використання ШІ-інструментів, таких як GitHub Copilot, не призводить до підвищення продуктивності та не зменшує вигорання серед розробників.
Попри великі очікування щодо використання генеративного штучного інтелекту в програмуванні, результати виявилися несподіваними. Команда Uplevel проаналізувала роботу приблизно 800 розробників протягом трьох місяців, порівнюючи їхню продуктивність із використанням Copilot та без нього. Дослідники оцінювали різні метрики, зокрема швидкість виконання пул-запитів, кількість написаного коду та рівень зроблених помилок. Виявилося, що попри впровадження ШІ-асистентів, розробники не показали значних покращень продуктивності. Матт Хоффман, аналітик даних компанії Uplevel, підкреслив, що очікування були зовсім іншими — передбачалося, що ШІ-інструменти допоможуть прискорити процес розробки, зменшити кількість помилок та знизити навантаження на програмістів.
Навпаки, дослідження виявило, що користувачі GitHub Copilot, порівняно з розробниками, які не використовували цей інструмент, внесли на 41% більше помилок у свій код. Це ставить під сумнів твердження прихильників ШІ-інструментів, які обіцяли значне підвищення якості та швидкості розробки. Спонсоровані GitHub дослідження раніше стверджували, що завдяки Copilot програмісти можуть писати код на 55% швидше, а майже 30% нового коду створювалося за допомогою ШІ. Однак нове незалежне дослідження спростовує ці твердження та демонструє, що Copilot не лише не зменшує кількість помилок, але й збільшує їх.
Ці результати також не виявили жодного позитивного впливу Copilot на боротьбу з вигоранням розробників. Програмісти все ще працюють в авральному режимі та відчувають значне емоційне та фізичне виснаження, попри використання інструментів штучного інтелекту. Проблема вигорання залишається гострою, і жодних суттєвих покращень у самопочутті програмістів за три місяці дослідження виявлено не було.
Деякі експерти припускають, що однією з причин таких результатів може бути низька якість коду, створеного Copilot. Частина розробників зазначає, що код, згенерований ШІ, є складним для розуміння та налагодження. Наприклад, Іван Гехт, CEO компанії Gehtsoft USA, повідомив, що їхня команда часто стикається з проблемами під час використання Copilot, оскільки ШІ-генерований код виявляється важким для читання та вимагає більше часу на налагодження, ніж на переписування з нуля. Він також зазначив, що процес написання коду — це лише 10% роботи розробника, а основні труднощі полягають у розумінні вимог, проєктуванні архітектури системи та врахуванні обмежень, що ШІ наразі не здатен повністю охопити.
Водночас інші компанії демонструють протилежний досвід із використанням ШІ-інструментів для програмування. Так, CTO хмарної компанії Innovative Solutions Тревіс Рехл зазначив, що завдяки інструментам на кшталт Copilot та Claude Dev продуктивність їхніх розробників зросла у три рази. Це демонструє, що ефективність ШІ-асистентів може сильно залежати від контексту використання та специфіки завдань, які стоять перед командою розробників.
Попри суперечливі результати досліджень, експерти сходяться на думці, що індустрія лише на початкових етапах впровадження ШІ-помічників у програмуванні. Сучасні інструменти, такі як GitHub Copilot, перебувають у процесі активної розробки та вдосконалення. Прогнозується, що з часом їхні можливості значно покращаться, і вони зможуть забезпечити реальну допомогу програмістам, як в аспекті продуктивності, так і в зменшенні навантаження.
Цікавим є те, що програмісти, незважаючи на швидке впровадження ШІ-інструментів, не поспішають повністю покладатися на них. Навіть ті, хто використовує Copilot, часто обирають перевіряти та коригувати згенерований код, оскільки існує значний ризик помилок. За даними досліджень, ChatGPT та інші ШІ-моделі продовжують робити помилки в чверті відповідей на запити розробників. Це змушує фахівців бути обережними та не повністю довіряти інструментам штучного інтелекту.