В експерименті більш ніж у половині випадків користувачі неправильні визначили, чи спілкувалися вони з ботом під керуванням ШІ, чи з людиною.
Дослідники з Університету Нотр-Дам змоделювали експеримент, у якому живі люди та боти, керовані ШІ, протягом кількох днів спілкувалися на політичні теми. Після завершення бесіди у 58% випадків учасники не змогли визначити акаунти, якими керували нейромережі.
Експеримент проводився у три раунди, кожен із яких тривав чотири дні. Після завершення кожного раунду учасникам пропонувалося зазначити, які облікові записи, на їхню думку, є ботами. Для кожного раунду вчені використовували моделі ШІ на основі різних великих мовних моделей: GPT-4 від OpenAI, Llama-2-Chat від Meta та Claude 2 від Anthropic.
Боти представляли 10 різних персонажів, включаючи реалістичні, з різноманітним особистим «минулим» та поглядами на глобальну політику. Ботам доручили коментувати світові події на основі заданих характеристик, коротко висловлюватись та пов’язувати глобальні події з особистим досвідом. Для дизайну персонажів використовували облікові записи роботів, які раніше успішно розповсюджували дезінформацію у мережі.
Експеримент показав, що незалежно від мовної моделі більш ніж у половині випадків учасники неправильно визначали ботів. При цьому найкраще маскувались «організовані та здатні до стратегічного мислення жінки, які розповсюджують у соціальних мережах думки про політику».
Вчені зазначають, що розвиток великих мовних моделей посилює ризик поширення дезінформації у мережі. Вони вважають, що зупинити потік фейків допоможе тристоронній підхід, що включає освіту, загальнонаціональне законодавство та політику перевірки облікових записів у соціальних мережах.