Команда фахівців зі штучного інтелекту з Google DeepMind розробила систему на основі штучного інтелекту під назвою SAFE. Її можна використовувати для перевірки фактів із результатів таких LLM, як ChatGPT.
Інженери DeepMind створили додаток, який перевіряє твердження або факти у відповіді мовних моделей. Вони використовували Google Search для пошуку сайтів, які можуть допомогти з результатами. Потім дві відповіді порівнюють. Нову систему назвали Search-Augmented Factuality Evaluator (SAFE), подробиці про роботу системи опубліковані на сервері препринтів arXiv.
Щоб перевірити її, дослідницька група використовувала приблизно 16 000 фактів із відповідей кількох LLM. Експеримент показав, що SAFE не помилявся приблизно в 72-76% випадків.
Команда DeepMind зробила код для SAFE доступним для будь-якого користувача. Відкритий вихідний код опубліковано на GitHub.
LLM або large language model – це мовна модель, що складається з нейронної мережі з безліччю параметрів (зазвичай мільярди вагових коефіцієнтів і більше), навченої на великій кількості нерозміченого тексту з використанням навчання без учителя.
Документ, що описує нову систему штучного інтелекту, інженери розмістили на сервері препринтів arXiv.