Техаські школярі скоро мають скласти важливий іспит State of Texas Assessments of Academic Readiness (STAAR), але оцінюватимуть їх не педагоги, а штучний інтелект. Тест перевірить велику мовну модель, схожу на GPT від OpenAI. Вчителів усунули не просто так: влада штату планує заощадити $15-20 мільйонів на рік, делегувавши контроль відповідей ШІ.
Витрати на оцінювання школярів — вічна проблема системи освіти у будь-якій країні та регіоні. У Техасі близько $20 мільйонів йдуть лише на тимчасових співробітників для оцінки результатів тесту STAAR, який допомагає зрозуміти, чи діти добре засвоїли шкільну програму.
Техаська агенція з освіти (TEA) зазвичай наймала 6000 вчителів для оцінки тесту, але тепер знадобиться лише 2000. У 2023 році STAAR змінили — прибрали частину закритих питань та класичних тестів з кількома варіантами відповіді, додали більше завдань, у яких потрібно міркувати та писати розгорнуто, аргументувати свою думку. Здавалося б, оцінити таке за допомогою ШІ буде важко, але великі мовні моделі чудово справляються. Крім того, вони перевіряють довгі відповіді в кілька разів швидше за вчителів-людей.
Для розробки системи автоматичної оцінки TEA зібрала 3000 відповідей учнів, які пройшли через 2 раунди перевірки людьми. Цей набір даних дозволив системі вивчити характеристики відповідей. Тепер вона надає ті ж оцінки, які дала б людина.
Цієї весни, коли учні завершать свої тести, комп’ютер спочатку оцінить усі отримані відповіді, а потім надішле чверть із них педагогам для повторної перевірки. Це допоможе уникнути помилок та несправедливості, а також краще натренувати систему.
Якщо ШІ буде не впевнений щодо того, яку оцінку привласнити, відповіді учня будуть автоматично надіслані людині. Те саме станеться, якщо модель зіткнеться з типом відповіді, яку програма не розпізнає, наприклад, з використанням сленгу або слів мовою, відмінною від англійської.
Співробітники TEA щодня переглядають зведення результатів, щоб переконатися, що вони відповідають очікуваним. Окрім спірних відповідей, люди також автоматично отримують випадкову вибірку готових тестів з оцінками ШІ, щоб зрозуміти, чи добре справляється система. У TEA впевнені, що їхнє рішення — це не зовсім штучний інтелект, оскільки роботу моделі не пускають на самоплив, а ретельно контролюють. Крім того, це ПЗ не має можливості навчатися в процесі обробки тестів — для оцінки він завжди покладається на вимоги, встановлені державою.