Інженери використовували навчання з підкріпленням, щоб підготувати робота до гри в футбол в складних умовах. Про розробку повідомляє прес-служба Массачусетського технологічного інституту.
Інженери з MIT використовували симуляцію штучного середовища і навчання з підкріплення, щоб навчити робота грати в футбол в різних умовах. «DribbleBot» успішно маніпулює м’ячем на таких ландшафтах, як пісок, гравій, бруд і сніг. Дослідження носить не тільки теоретичний, але і практичний характер: роботи, які легко переміщаються в складних і непередбачуваних умовах підійдуть для використання в рятувальних операціях.
Зміна властивостей поверхні змінює динаміку руху м’яча. Для управління і дриблінгу (ведення м’яча) робот, що пересувається за допомогою чотирьох ніг, використовує вбудовані датчики, комп’ютерний зір і обчислювальну систему, яка оцінює зовнішні умови і визначає траєкторії руху самого робота і м’яча.
Для прискореного навчання дослідники використовували штучну симуляцію — цифровий двійник природи. Вона дозволяє завантажити необхідні фізичні параметри середовища, і моделювати динаміку предметів в таких умовах. За допомогою цього підходу інженери одночасно моделювали 4 000 версій робота, відповідно прискорюючи відпрацювання рухів. Практика в реальних умовах починається після таких симуляцій.
Робот починає навчання, не знаючи, як вести м’яч — він просто отримує винагороду, коли робить це, або негативне підкріплення, коли помиляється, пояснюють розробники. Таким чином, він, по суті, намагається з’ясувати, яку послідовність сил він повинен прикладати до своїх ніг.
Навчання робота ведення м’яча. Відео: MIT CSAIL
Дослідники відзначають, що більшість попередніх розробок концентрується тільки на одному завданні: робот або біжить, або пасує м’яч. Навчання з ведення м’яча вимагає більшої складності і в більшій мірі залежить від зовнішнього середовища. Робот повинен адаптувати свій рух, щоб впливати на м’яч. При цьому взаємодія між м’ячем і зовнішнім середовищем може відрізнятися від взаємодії між роботом і ландшафтом. Наприклад, тертя, який футбольний м’яч буде відчувати на траві і на тротуарі відрізняється, а нахил буде викликати прискорення, змінюючи типову траєкторію м’яча.
На відміну від більш стійких роверів (колісних роботів), чотириногі роботи теоретично більш маневрені і можуть переміщатися в складних умовах під час стихійного лиха, наприклад, після повені або землетрусу. Але, щоб реалізувати ці можливості, потрібно створити систему, яка зможе швидко адаптуватися до мінливих зовнішніх умов.