Для того, щоб роботизований механізм навчився ходити, недостатньо просто «прилаштувати» до нього кілька ніг. Навчання пересуванню — дуже складний процес, що забирає у розробників масу часу. Але тепер це питання буде вирішувати штучний інтелект, адже група експертів створила універсальні алгоритми, які допомагають ШІ вчити роботів будь-якої конфігурації переміщатися. При цьому втручання людини в цей процес не потрібно.
За розробкою стоїть команда вчених з Каліфорнійського університету в Берклі і група експертів Google Brain, одного з дослідних підрозділів Google по штучному інтелекту. Їх нова система навчила чотирилапого робота перетинати як знайому місцевість, так і незнайому.
Навчання з підкріпленням — це, по суті, метод батога і пряника адаптований для ШІ. Він використовує винагороду або покарання при досягненні або не досягненні цілей.
Для експериментів вчені взяли робота Minitaur. Вони розробили систему, що складається з робочої станції, яка оновлювала дані нейронної мережі, завантажувала інформацію в Minitaur і вивантажує назад. Чіп NVIDIA Jetson TX2 на борту робота відповідав за обробку інформації. Робот крокував протягом 2 годин і зробив 160 000 кроків. За цей час алгоритм винагороджував робота за переміщення вперед і карав, якщо він застрявав на місці або давав дуже великий крен у бік. В результаті був створений алгоритм руху, який дозволив роботу в будь-якій ситуації вибирати оптимальну траєкторію руху.
«Наскільки нам відомо, цей експеримент є першим прикладом застосування навчання з підкріпленням, який дозволяє навчити роботів ходити.»