Інженери розробили робота-кухаря, який відтворює страви на основі відеороликів.
Дослідники з Кембриджського університету продемонстрували здатність робота навчатися на основі кулінарних відеороликів. Інженери навчили робота восьми простим рецептами салатів за допомогою відео. Крім того, в результаті експерименту робот розпізнав і приготував новий дев’ятий рецепт, якому його не вчили.
Дослідники розробили вісім простих рецептів салатів і зняли, як вони їх готують. Потім вони використовували загальнодоступну нейронну мережу для навчання свого робота-кухаря. Нейронна мережа була запрограмована на визначення ряду різних об’єктів, включаючи фрукти і овочі, які використовуються в восьми рецептах салатів (броколі, морква, яблуко, банан і апельсин).
Навчання робота-повора. Відео: Cambridge University
Використовуючи методи комп’ютерного зору, робот проаналізував кожен кадр відео і зміг ідентифікувати різні об’єкти і особливості, такі як ніж і інгредієнти, а також руки, кисті і обличчя людини. І рецепти, і відео були перетворені в вектори, і робот виконав математичні операції з векторами, щоб визначити схожість між демонстрацією і вектором.
Правильно визначаючи інгредієнти і дії кухаря-людини, робот міг визначити, який з рецептів готувався. Наприклад, робот міг зробити висновок, що, якщо людина тримає ніж в одній руці, а моркву в іншій, морква буде нарізана. З 16 переглянутих відео робот розпізнав правильний рецепт в 93% випадків, хоча він виявив тільки 83% дій людини-кухаря.
Робот також зміг визначити, що невеликі зміни в рецепті, такі як приготування подвійної порції або звичайна людська помилка, були варіаціями, а не новим рецептом. Також робот правильно розпізнав демонстрацію нового, дев’ятого салату, додав його в свою кулінарну книгу і приготував.
Кухарі-люди можуть вивчати нові рецепти за допомогою спостереження за тим, як готує інша людина, або перегляду відео на YouTube. Програмування робота-кулінара вимагає великих витрат і часу. Результати дослідження показують, що візуальне навчання роботів приготування їжі можливо.