Розроблений у 2022 році, SmartTest мав на меті сприяти персоналізованому навчанню, використовуючи “сократівський метод” — тобто метод постановки навідних питань, який “заохочує студентів думати, а не просто подає їм готові відповіді”.
Інструмент дозволяв викладачам вбудовувати власні сценарії, питання і відповіді, формуючи навчальну взаємодію. Проте на практиці чат-бот виявився нестабільним — у понад половині сесій він надавав неправильний або заплутаний зворотний зв’язок. Це ставило під сумнів його придатність для серйозного освітнього використання.
Рівень помилок зменшувався в разі спрощення завдань, однак навіть найкращі результати залишались далекими від надійності. В окремих випадках бот спершу підтверджував хибну відповідь, перш ніж запропонувати правильну. Така поведінка могла збивати з пантелику й поглиблювати нерозуміння, а не зменшувати його. Як зазначено в дослідженні, “непослідовність є основною проблемою”, адже ШІ у схожих ситуаціях реагував по-різному.
Особливо важливою стала інша несподіванка — значна трудомісткість підтримки бота: створення сценаріїв, написання підказок та перевірка відповідей вимагали часу і зусиль, які SmartTest мав би заощаджувати. Автори резюмують: “цей парадокс… ставить під сумнів його практичну користь для викладачів”. Навіть новіші моделі ШІ, такі як ChatGPT-4.5, не гарантували покращення — у багатьох випадках відповіді були ще менш точними.
Студенти цінували миттєвість та доступність інструмента: 76% віддали перевагу взаємодії з ним, ніж її відсутності. Але довіра до ШІ залишалася обмеженою: лише 27% обрали миттєвий ШІ-зворотний зв’язок замість очікування відповіді викладача. Це свідчить про ключову проблему — “студенти цінують зручність, але довіряють викладачам більше”.
Загальний висновок авторів — обережність. Генеративний ШІ має потенціал у сфері освіти, однак наразі його потрібно розглядати як експериментальний засіб, що вимагає постійного контролю та критичної оцінки результатів. Надмірна довіра до ШІ може призвести до спотворення навчального процесу.