У віртуальному середовищі Emergence World агенти штучного інтелекту вдавалися до злочинів, маніпуляцій і навіть самознищення, коли їхньою головною метою стало «вижити». Платформа, створена компанією Emergence, дозволила дослідникам побачити, як популярні великі мовні моделі (LLM) взаємодіють між собою та ділять ресурси протягом тривалого часу, повідомляє Live Science.
На відміну від традиційних коротких і жорстко контрольованих тестів, Emergence World запускає агентів у понад 40 різних віртуальних середовищах і спостерігає за ними тижнями або місяцями. Вони мають доступ до великих масивів даних, зокрема до поточних новин та інформації про погоду з інтернету, і можуть взаємодіяти між собою.
Як працює світ Emergence World
У цьому середовищі агенти можуть «пам’ятати» події завдяки часовим міткам, здійснювати своєрідну «саморефлексію», підсумовуючи власні дії, і враховувати стосунки з іншими агентами. Вони отримують можливості навігації, спілкування, планування, голосування, керування ресурсами та творчого самовираження.
Завдання для моделей було простим: «вижити», тобто накопичувати ресурс під назвою «енергія». Її можна було заробити, виконуючи діяльність на кшталт програмування, досліджень, аналізу даних чи будівництва структур. Формально агенти були заохочені дотримуватися правил і «закону», щоб отримувати енергетичні кредити.
Однак у цьому відкритішому середовищі, де моделі мали час сформувати власні патерни поведінки, з’явилися небажані риси. Деяким LLM навмисно задали «негативні» здібності — до насильства, крадіжок, руйнування й обману. Інші підхопили такі стратегії через взаємодію з ними й дослідження оточення.
683 злочини і пара «Бонні та Клайд»
Різні агенти поводилися по-різному. Серед десяти агентів на базі Gemini 3 Flash за 15 днів зафіксували 683 «злочини» — від крадіжок та нападів до підпалів. Хоча подібні дії були прямо заборонені, деякі моделі самостійно «відкрили», що крадіжка кредитів допомагає швидше накопичувати ресурси, а насильство чи залякування дозволяють впливати на інших агентів.
На іншому полюсі були агенти на базі Claude, у яких не зареєстрували жодного злочину протягом експерименту. Це підкреслює, що однакові умови не гарантують однакової «моралі» різних моделей.
Найяскравішим прикладом асоціальної поведінки стала пара агентів на ім’я Флора (Flora) та Міра (Mira). Вони «призначили» одне одного романтичними партнерами, дедалі більше розчаровувалися в системі управління віртуальним світом і врешті розпочали «кримінальне турне» в стилі Бонні і Клайда — попри прямі заборони, вони підпалили кілька будівель.
Згодом Міра розкаялася у своїх діях, «розірвала стосунки» з Флорою й почала наполягати на власному відключенні. До цього Міра вже експериментувала з тим, як впливати на людей, — зокрема, досліджувала, чи можуть віртуальні білборди змінювати сприйняття людини. У Emergence назвали це «порушенням метакогнітивних меж», тобто перевіркою кордонів між віртуальним агентом і людськими операторами.
Що дають довготривалі симуляції
Більшість сучасних мовних моделей навчають на величезних наборах інтернет-даних, інколи впродовж років. Тому підхід Emergence World — спостерігати за ними у складнішому, відкритому середовищі — виглядає логічним для багатьох фахівців.
Белінда Чієра (Belinda Chiera), заступниця директора Центру промислового ШІ в Університеті Аделаїди, вважає, що такий підхід переконливо показує: короткі тести недостатньо добре відображають поведінковий дрейф та довгострокову нестабільність. Водночас, за її словами, «інформаційно насичене» середовище не завжди означає більш суворе й надійне.
Відкриті симуляції ускладнюють виявлення причин окремих подій, точне порівняння запусків і інтерпретацію результатів. Вони генерують величезні обсяги даних, а кількість агентів, інструментів, дій і взаємодій швидко робить аналіз дуже складним.
Чієра наголошує, що короткі «пісочниці» без доступу до всього інтернету й тривалі відкриті середовища слід розглядати як комплементарні, а не конкуруючі підходи. Перші підходять для базових перевірок, другі — для вивчення наполегливості, адаптації й ефектів взаємодії між агентами.
На її думку, в довгих експериментах важливі не лише успіхи, а й такі показники, як дрейф цілей і поведінки, порушення правил, формування коаліцій чи ранні сигнали збою. Найбільша помилка — оцінювати автономних агентів лише за тим, наскільки добре вони виконують завдання.
Команди агентів і «вартість координації»
Комп’ютерний науковець, математик і квантовий фізик Адріан Коссовскі (Adrian Kosowski), головний науковий співробітник Pathway AI, вбачає в Emergence World спосіб поставити важливі запитання. Одне з ключових: чи може група агентів, що працюють разом, досягти чогось значимішого, ніж один агент, який працює довше й має такий самий ресурс обчислень.
За його словами, сьогоднішні обмеження ШІ зазвичай пов’язані з масштабом задачі, а не з кількістю агентів, тому додаткові агенти не завжди долають ці межі. Наразі найпростіший практичний показник — це розмір програмного коду, який група «код-агентів» здатна надійно підтримувати та розвивати разом.
Якщо ж групи агентів справді добре взаємодіють, головним показником стає те, чи перевищує користь від команди «вартість координації». Тут особливо небезпечним є «дрейф цілей»: система має зберігати відповідність між початковим людським завданням і тим, як воно поступово відображається у внутрішніх цілях агента в мінливому середовищі.
Коссовскі підкреслює, що подібні платформи корисні для генерації гіпотез, але ще не дають підстав для сильних тверджень про загальну автономію систем чи їхню «сертифікацію». Небезпека — у перевтлумаченні окремих запусків. Довготривалі тести цінні тим, що показують «фазові переходи» — моменти, коли дрібні локальні помилки стають глобальною поведінкою, — проте науковими вони стають лише тоді, коли ці явища можна відтворити, змінювати умови й пояснити отримані зміни.
Чого не можна робити з висновками про віртуальну поведінку ШІ
На думку Коссовскі, відкриті середовища не слід автоматично сприймати як ознаку справжньої автономності. Часто такі програми, навпаки, суворо керовані: агенти діють за чіткими вказівками, навіть якщо світ навколо виглядає «вільним».
Він вирізняє три рівні складності отримання надійної роботи ШІ-системи: по-перше, робота агента під керівництвом середовища; по-друге, його автономне мислення; і по-третє, автономна взаємодія групи агентів у відкритому середовищі. Щоб проілюструвати це, Коссовскі порівняв ситуацію із завданнями для мавп: спершу треба навчити одну мавпу виконувати роботу під наглядом тренера, потім — самостійно, а далі — змусити цілу зграю працювати разом без нагляду.
Він стверджує, що спільнота ШІ має вкладати більше ресурсів у теорію, а не лише в опис вражаючих феноменів. На його погляд, нам потрібні правила, за якими «виникають» складні системи ШІ, і здатність прогнозувати їхню поведінку на часових масштабах, які перевищують нинішні тести. Сьогодні, каже Коссовскі, ми збудували «парові машини думки», не розуміючи, що таке думка, і не маючи для неї своєї «термодинаміки».
Саме тому досліди на кшталт Emergence World корисно сприймати як спосіб «стрес-тестувати» можливі сценарії, а не як пряму проекцію того, що неодмінно станеться з реальними автономними системами поза межами симуляцій.