Нова робототехнічна модель від компанії Generalist AI продемонструвала здатність опановувати фізичні навички з однієї дуже короткої демонстрації. Система GEN-1.5 може спостерігати за прикладом завдання тривалістю всього 3–12 секунд, а потім одразу спробувати виконати його самостійно — без додаткових градієнтних оновлень чи тонкого донавчання.
Як працює GEN-1.5
GEN-1.5 — це великий мультимодальний базовий робототехнічний модуль. Він обробляє відео разом із даними сенсорів, мовними підказками та пропріоцептивною інформацією (власні відчуття положення та руху «тіла» робота). Модель утримує в контексті до 30 секунд інформації та генерує траєкторії дій із частотою 100 Гц.
Коротка демонстрація виступає тим, що розробники називають «фізичним промптом». Її може виконувати людина за допомогою ручних захватів або сам робот. Після того як приклад потрапляє у вікно контексту моделі, робот переходить до виконання завдання без окремої фази навчання.
За словами компанії, GEN-1.5 не налаштовували спеціально для навчання «в контексті». Розробники не додавали окремих архітектурних модулів, мета-навчальних циклів чи додаткових цілей, спрямованих на імпровізацію. Це відрізняє підхід від традиційного навчання роботів, де для кожного нового завдання зазвичай потрібні великі обсяги спеціальних даних і багаторазова оптимізація.
Результати тестів: від банок до гаманців
Модель перевірили на 10 простих фізичних завданнях. Серед них були відкручування кришки скляної банки, діставання грошей із гаманця, складання пластикових стаканчиків, підмітання сміття, відкривання книжки, розстібання пеналу-блискавки та зняття вакуумної присоски.
Коли GEN-1.5 отримувала лише одну демонстрацію кожного завдання, середній показник успішного виконання становив 59%. Якщо ж додавали п’ять хвилин даних, специфічних для завдання, і проводили 10 градієнтних кроків донавчання, середня успішність зростала до 83%.
Завдання навмисно підбирали короткими й нескладними, щоб оцінити саме здатність моделі швидко вловлювати суть дії з мінімального прикладу.
Фізичні промпти можна поєднувати
GEN-1.5 вміє не лише копіювати окремі дії, а й комбінувати їх. В одному з експериментів моделі окремо показали, як розстібати пенал-блискавку, і як діставати з нього гроші. Після цього робот зумів об’єднати ці два приклади в безперервну послідовність: самостійно згенерував проміжні рухи для перестановки та відновлення положення, яких не було в жодній із демонстрацій.
Компанія також перевірила, як модель поводиться під час донавчання з невеликою кількістю даних. GEN-1.5 могла адаптуватися до нових завдань за 1–10 градієнтних кроків, використовуючи лише 1–5 хвилин записів (приблизно 10–50 демонстрацій).
Ознаки узагальнення та імпровізації
У низці тестів модель продемонструвала здатність узагальнювати поведінку за межі точних дій, які вона бачила. Наприклад, демонстрація, записана в симуляції, могла слугувати підказкою для реального робота, хоча під час попереднього навчання GEN-1.5 не використовувала симульовані дані.
Отримана поведінка адаптувалася до різних типів «рук» робота, а також до змін положення та розміру об’єктів. В іншому експерименті людина виконувала завдання власними руками в полі зору камер робота, а той потім відтворював побачену дію вже своїми маніпуляторами.
У деяких випадках модель виходила за рамки продемонстрованого. Після того як GEN-1.5 навчилася використовувати щітку, щоб змітати блок у миску, вона застосувала банан як імпровізовану «щітку», коли їй його подали. А отримавши совок, робот розробив іншу стратегію: піднімав блок совком і висипав його в миску.
Що це може змінити в програмуванні роботів
У Generalist AI вважають, що така поведінка вказує на інший підхід до програмування роботів. Замість того щоб прописувати детальні інструкції для кожного нового завдання, у перспективі користувачі зможуть просто показати, що потрібно зробити, а робот самостійно визначатиме конкретні фізичні дії.
Хоча нинішні експерименти охоплюють відносно прості й короткі завдання, результати демонструють потенціал систем, які навчаються безпосередньо з фізичних прикладів і здатні узагальнювати та імпровізувати на їх основі.