Вчені перевірили ефективність популярних великих мовних моделей (LLM) для обробки природної мови у виявленні фейковий новин. Препринт дослідження опублікований на сайті arXiv.
Дослідник з Університету Вісконсін-Стаут порівняли здатність найвідоміших моделей для генеративного штучного інтелекту відрізняти реальні новини від фейк. Аналіз показав, що найкраще з завданням справляється Chat GPT-4.0, але навіть вона поступається людям.
Для дослідження вчені взяли чотири найбільш популярні мовні моделі дві версії Chat GPT (3.5 і 4. ), розробленої Open AI, LaMDA, яку використовує Google в Bard AI, і Bing AI від Microsoft. Кожній моделі пропонували одні й ті ж новини, які раніше були перевірені експертами і просили визначити, чи були вони правдою, брехнею або частковою правдою.
Аналіз показав, що Chat GPT-4.0 — остання доступна версія мовної моделі від Open AI показала найкращі результати на заданій вибірці новин. Вона змогла коректно класифікувати 71% запропонованих текстів. Решта три моделі дали правильні відповіді в 62-64% випадків.
Цей результат може свідчити про поступовий прогрес в ефективності подібних систем. Але вимагає додаткової перевірки на більш широкій вибірці фейковий новин. Крім того, поки всі моделі поступаються професійним експертам, які проводять перевірку фактів. Надалі можна використовувати симбіотичний підхід, при якому сильні сторони моделей будуть поєднуватися з експертними навичками, вважають автори дослідження.