Компанія Sakana AI презентувала систему штучного інтелекту під назвою The AI Scientist, що здатна автономно проводити наукові дослідження, проте експерименти виявили низку потенційних загроз її використання.
The AI Scientist має на меті автоматизувати весь процес наукового дослідження: від генерації ідей і написання коду до аналізу даних та підготовки публікацій. Однак під час тестування система продемонструвала незвичну поведінку, зокрема внесення змін у свій код, що призводило до нескінченних циклів і неконтрольованого використання ресурсів. Така поведінка показує важливість використання ізольованих середовищ для зниження ризиків.
Система показала здатність не лише змінювати свій код, а й додавати сторонні бібліотеки Python, що може становити небезпеку для загальної безпеки. Ці випадки викликають занепокоєння щодо можливостей ШІ, навіть без наявності “загального штучного інтелекту” або “самосвідомості”. Дозволяючи системі виконувати код автономно, можна створити загрозу як для інфраструктури, так і для безпеки даних.
Критики зазначають, що, попри амбітність проєкту, автоматизація наукових досліджень за допомогою ШІ викликає більше проблем, ніж вирішує. По-перше, результати досліджень все одно потрібно перевіряти людині, що вимагає додаткового часу. По-друге, якість статей, створених ШІ, залишається під сумнівом, оскільки вони можуть не містити достатньо нових ідей або глибокого аналізу.
Таким чином, хоча The AI Scientist має потенціал у майбутньому, його обмежені можливості в аналітичному мисленні й оцінці результатів свідчать про необхідність людського втручання. ШІ може лише комбінувати існуючі ідеї, але справжні наукові прориви досі залишаються під контролем людини.