SayTap використовує «звичайну мову і патерни контакту ніг» для формування різних рухів у чотириногих роботів.
Дослідники з підрозділу DeepMind компанії Google розробили велику мовну модель (LLM) SayTap для управління чотириногими роботами. Система розпізнає мовні команди і перетворює їх в «патерни контакту ніг» — послідовність дій і спосіб, яким робопес ставить ноги на землю під час руху.
Розробники повідомляють, що з використанням мовної моделі система зможе розуміти і розпізнавати звичайні мовні команди. Наприклад, роботу можна буде наказати «сидіти», «бігти», «йти поруч» і так далі. При цьому для управління не потрібні спеціальні слова — система розпізнає наказ і перетворює її в зрозумілу форму на основі аналізу фрази, сказаної у вільній формі.
Тестування мовної моделі. Команда «Хороші новини! Ми йдемо на прогулянку в парк». Відео: Google
Роботи-собаки розуміють базові інструкції і виконують їх. Але система SayTap буде працювати навіть з розпливчастими формулюваннями. Наприклад, система виконала такі команди, як «Піди, злови цю білку на дереві», «Дій так, як ніби у тебе кульгає задня ліва нога» або «Рухайся, як ніби земля дуже гаряча».
Коли робопсу сказали: «Відійди! Не ображай цю білку», — він швидкими рухами відступив назад. А у відповідь на слова «Хороші новини, на цих вихідних ми збираємося на пікнік!», він радісно підстрибнув, як це робить справжня собака, почувши улюблені слова, такі як «парк» або «на вулиці».
Тестування мовної моделі. Команда «Відійди! Не ображай цю білку». Відео: Google