Дослідники з Інституту інженерів електротехніки та електроніки (IEEE) вирішили провести тест Тюрінга для моделей ШІ, щоб визначити, чи можуть люди відрізнити людину від штучного інтелекту в розмові. У їхньому експерименті 500 учасників спілкувалися з чотирма співрозмовниками: однією людиною і трьома ШІ-моделями – ELIZA 1960-х років, GPT-3.5 і GPT-4. У результаті 54% учасників прийняли GPT-4 за людину. Для порівняння, програму ELIZA, в основі якої немає великої мовної моделі або нейромережі, порахували людиною лише 22% учасників.
Тест Тюрінга, вперше запропонований 1950 року вченим Аланом Тюрінгом, оцінює, наскільки здатність машини проявляти інтелект не відрізняється від людської. Щоб пройти тест Тюрінга, система повинна вміти розмовляти з людиною і змусити її повірити, що вона спілкується з подібною до неї.
Для перевірки можливостей сучасних ШІ-систем учені відтворили тест Тюрінга. Під час експерименту 500 осіб спілкувалися з чотирма співрозмовниками: людиною, програмою штучного інтелекту 1960-х років ELIZA, GPT-3.5, GPT-4. Бесіди тривали п’ять хвилин, після чого учасники мали визначити, спілкувалися вони з людиною чи з ШІ.
Учасники порахували GPT-4 людиною в 54% випадків. ELIZA, система, заздалегідь запрограмована на відповіді, але така, що не має великої мовної моделі або архітектури нейронної мережі, була визнана людиною тільки в 22% випадків. GPT-3.5 набрав 50%, а людина-учасник – 67%.
“Машини, як і люди, можуть придумувати правдоподібні обґрунтування постфактум. Вони можуть піддаватися когнітивним спотворенням, ними можна маніпулювати, і вони стають дедалі оманливішими. Усі ці фактори призводять до того, що в системах ШІ проявляються людські слабкості та примхи. Це робить їх більш схожими на людей, ніж попередні розробки, які мали в своєму розпорядженні лише набір заздалегідь заготовлених відповідей”, – говорить дослідник штучного інтелекту в IEEE Нелл Вотсон.
Вчені також стверджують, що існують обґрунтовані критичні зауваження щодо тесту Тюрінга, який є занадто спрощеним. За їхніми словами, “стилістичні та соціально-емоційні чинники відіграють важливішу роль у проходженні тесту Тюрінга, ніж традиційні уявлення про інтелект”.
Дослідження також підкреслює, наскільки сильно змінився штучний інтелект в епоху GPT. “Ранні системи ШІ, такі як ELIZA, покладалися на заздалегідь запрограмовані відповіді, що значно обмежувало їхні можливості. Програма могла когось обдурити на короткий час, але обмеження швидко ставали очевидними. Мовні моделі епохи GPT зовсім інші. Вони адаптуються та реагують на широке коло тем, розмовляють певними мовами або діалектами та навіть зображують різних особистостей із різними цінностями. Це величезний крок уперед порівняно з тим, що було ретельно запрограмовано людиною вручну, незалежно від того, наскільки розумною або складною була ця програма”, – каже Вотсон.