Чотири популярні чат-боти на основі штучного інтелекту загалом надали надійні відповіді на 99 публічних запитань про зубні імплантати, але помітно відрізнялися за читабельністю, корисністю та експертною оцінкою якості. Як повідомляє Scienmag, DeepSeek V3.2 отримав найвищі бали за надійність і якість, тоді як ChatGPT-5 визнали найкориснішим для пацієнтів. Microsoft Copilot і DeepSeek створювали відносно доступний для читання текст, а Gemini 3 Pro — найскладніший.
Автори роботи роблять обережний висновок: такі системи можуть доповнювати роз’яснення лікаря щодо імплантатів, але вибір моделі суттєво впливає на те, як саме подається інформація. Жоден із чат-ботів не був клінічно валідований для індивідуальних рішень щодо лікування.
Як збирали запитання та налаштовували тест
Дослідники почали з пошуку найпоширеніших запитань про зубні імплантати на трьох онлайн-платформах підказок: Also Asked, Answer the Public та функції Google «People Also Ask». Вони охопили теми «dental implants», біль, ускладнення, вартість та тривалість служби імплантатів.
Початково зібрали 176 запитань. Двоє рецензентів видалили дублікати та семантично однакові формулювання, узгоджуючи спірні випадки між собою, а за потреби — з третім, старшим експертом. У підсумку залишилося 99 унікальних, граматично вичитаних запитань.
Їх поділили на чотири тематичні блоки: біологічні та хірургічні аспекти (16 запитань), протетика та матеріалознавство (22), клінічні результати й ускладнення (26), а також пацієнтські та економічні аспекти (35). Нерівний розподіл відображав реальну структуру публічних запитів, а не спеціально спроєктовані групи.
Кожне запитання окремо вводили в ChatGPT-5, Gemini 3 Pro, DeepSeek V3.2 та Microsoft Copilot 4 грудня 2025 року. Використовували безплатні споживчі версії з налаштуваннями за замовчуванням, у вікнах «інкогніто» та з вимкненими інструментами пошуку. Кожна відповідь генерувалася в новій розмові, сторінки оновлювали перед наступним запитом, а функцію «regenerate response» не застосовували.
Один дослідник зібрав усі відповіді та переніс їх в анонімізовані документи, щоб два оцінювачі не знали, який чат-бот створив конкретний текст. Це зменшувало упередженість, але водночас означало, що аналізували лише по одній відповіді від кожної моделі в один конкретний день.
Як оцінювали надійність, якість і читабельність
Дві сертифіковані фахівчині з фіксованої протетики незалежно оцінювали відповіді. Вони користувалися кількома інструментами:
- шкалою загальної якості GQS (Global Quality Scale) — для оцінки цілісності, логічності, послідовності та доречності;
- модифікованою чотирибальною шкалою корисності — наскільки відповідь задовольняє інформаційні потреби пацієнта;
- рамкою CLEAR — для оцінки повноти, відсутності хибної інформації, опори на докази, доречності та відповідності. Кожен елемент оцінювали від 1 до 5 балів, загальна сума могла становити від 5 до 25.
Суми 19–25 балів у CLEAR вважали «дуже добрими», 12–18 — середніми, 5–11 — низькими. Читабельність аналізували за двома індексами: Flesch–Kincaid Grade Level (FKG) та Simple Measure of Gobledygook (SMOG), які орієнтовно показують, на якому «шкільному рівні» написаний текст.
Перед основною оцінкою обидві спеціалістки протестували свої підходи на окремому пілотному наборі з 40 пар «запитання–відповідь», який не увійшов до аналізу. Вони обговорили розбіжності та узгодили критерії разом із третім старшим фахівцем.
Надійність висока у всіх, але лідирує DeepSeek
Усі 396 відповідей чат-ботів потрапили до найвищої категорії CLEAR. Медіанний сумарний бал для DeepSeek становив 25, для трьох інших систем — 24. Статистичний аналіз показав значущі відмінності між моделями за надійністю, якістю, корисністю та читабельністю (p < 0,001 для загальних порівнянь).
Середні бали CLEAR були такими: DeepSeek — 24,68, ChatGPT — 23,31, Gemini — 23,44, Copilot — 23,65. DeepSeek також дав найбільшу частку відповідей, оцінених як «відмінні» за GQS: 83 із 99 (83,8%). Для порівняння, у ChatGPT таких відповідей було 14,1%, у Gemini — 24,2%, у Copilot — 10,1%.
Автори наголошують, що ці високі оцінки відображають саме експертні судження в межах цього протоколу. Вони не доводять, що відповіді є повністю безпечними, легко простежуються до джерел доказів або підходять кожному пацієнту.
Читабельність: найпростіший текст у DeepSeek і Copilot
Найвиразніші відмінності виявилися у читабельності. За індексом FKG найнижчий (тобто найпростіший) середній рівень мав DeepSeek — 8,67, далі йшли Copilot — 9,02, ChatGPT — 9,42 і Gemini — 11,07. Вищий бал FKG означає складніший текст, тож DeepSeek був найближчим до рівня восьмого класу, а Gemini — найскладнішим.
За індексом SMOG найпростішим виявився Copilot — 11,11, далі DeepSeek — 11,39, ChatGPT — 11,64 і Gemini — 13,18. Змішаний статистичний аналіз показав, що вибір моделі пояснював 39% варіації FKG та 42% варіації SMOG.
Відповіді Gemini були статистично значуще важчими для читання, ніж у трьох інших систем. ChatGPT виявився складнішим за DeepSeek за FKG і за Copilot за SMOG. Тематика запитань не впливала на показники читабельності, і взаємодії між темою та моделлю не виявили.
Корисність для пацієнта: перевага ChatGPT
Шкала корисності в дослідженні була «перевернутою»: нижчі бали означали більш корисну відповідь. За цим критерієм найкраще виступив ChatGPT: 1 відповідь оцінили як «дуже корисну», 42 — як «корисні», 51 — як «частково корисні» та 5 — як «некорисні».
Gemini та Copilot дали по 27 «корисних» відповідей, тоді як DeepSeek мав лише одну в цій категорії; 39 із 99 його відповідей визнали «некорисними». Перевага ChatGPT за загальною корисністю залишалася статистично значущою навіть після поправок на множинні порівняння.
Такий розподіл вказує на компроміс: DeepSeek забезпечував вищу надійність і загальну якість, але його відповіді виявилися менш корисними з погляду пацієнтських потреб. Автори трактують це як свідчення того, що більша глибина інформації не завжди означає більш зручне та дружнє для користувача пояснення.
У роботі також чітко розмежували поняття надійності, якості та корисності. GQS і CLEAR оцінювали цілісність, повноту, опору на докази, відсутність хибної інформації, доречність і релевантність, тоді як корисність мала відображати, наскільки добре відповідь відповідає інформаційним запитам пацієнта. Технічно сильна відповідь може бути важкою для практичного використання.
Вищі показники читабельності (тобто складніший текст) асоціювалися з нижчими балами GQS для Gemini, нижчою корисністю для ChatGPT і нижчими балами CLEAR для Gemini та Copilot. Тематика запитань не впливала на корисність чи GQS, хоча пацієнтські та економічні питання мали невелику перевагу за надійністю над протетичними й клінічними темами в аналізі CLEAR. Автори підкреслюють, що цей ефект був незначним.
Обмеження дослідження та що це означає для пацієнтів
Попри обнадійливу надійність, жодна система не надавала безпосередньо пов’язаних посилань, які дозволили б легко відстежити кожне клінічне твердження до джерела. До того ж «стеля» високих балів у CLEAR обмежила здатність інструмента розрізняти моделі між собою. Саму рамку CLEAR валідовано на невеликій групі медичних фахівців, тому, за словами авторів, потрібні кілька різних методів оцінки.
Результати стосуються лише англомовних, відкритих запитань у контрольованих умовах споживчого використання. Вихідні дані моделей можуть змінюватися з оновленнями програмного забезпечення; повторні запити не тестували, розуміння тексту пацієнтами не вимірювали, клінічні наслідки також не оцінювали.
Індекси читабельності відображають складність речень і слів, а не реальне розуміння, яке залежить від медичної грамотності, освіти, попередніх знань і знайомства з термінами на кшталт «осеоінтеграція» чи «періімплантит».
Для людей, які шукають інформацію про зубні імплантати, ці дані дають радше обмежений «зріз», а не остаточний вердикт. DeepSeek у цьому тесті лідирував за експертною надійністю та якістю, ChatGPT — за корисністю, а DeepSeek і Copilot були простішими для читання за використаними показниками. Усі чотири системи отримали високі бали надійності, але навіть «дуже добра» відповідь може не враховувати індивідуальні фактори, як-от якість кістки, загальний стан здоров’я чи результати рентгену.
Дослідники розглядають ці чат-боти як допоміжний інструмент у рамках підходу з обов’язковою участю лікаря, а не як заміну професійної консультації. Вони закликають до подальших робіт із залученням реальних пацієнтів, клінічно валідованих результатів, багатомовних відповідей, повторних запитів і новіших версій моделей, щоб з’ясувати, чи перетворюються відмінності в тексті на краще розуміння, впевненість або зниження тривоги.