Студенти Стенфордського університету розробили окуляри, які використовують доповнену реальність і ШІ, щоб допомагати користувачеві підтримувати діалог. Про розробку пише Interesting Engeneering.
Студенти Стенфордського університету розробили окуляри, які «слухають вашу розмову і точно говорять вам, що сказати далі». Пристрій вміє розпізнавати обличчя, щоб використовувати історію повідомлень з конкретною людиною для моделювання розмови. Розробники описали принципи і показали роботу пристрою у своєму Twitter.
Окуляри зі штучним інтелектом rizzGPT зв’язуються через Bluetooth з веб-додатком на головному пристрої, яким може бути телефон користувача. Коли користувач говорить або бере участь в розмові, звук перетворюється в текст в режимі реального часу. Пристрій використовує систему розпізнавання мови Whisper від OpenAI. На основі отриманих даних система пропонує можливі відповіді на поставлені запитання.
В основі розробки розумні окуляри Monocle AR, розроблені компанією Brilliant Labs. Вони використовують мікрофон, дисплей з високою роздільною здатністю і камеру для взаємодії з користувачем і оточенням.
Демонстрація роботи пристрою. Відео: Bryan Hau-Ping Chiang
Демонстрація роботи пристрою. Відео: Bryan Hau-Ping Chiang
У відеодемонстрації один з учасників задає питання користувачеві окулярів. Система інтерпретує питання і з невеликою затримкою генерує відповідь, яка відображається на скляному екрані. Все це відбувається за частку секунди. Розробники відзначають, що швидкість транскрипції залежить від швидкості Wi-Fi або мобільного інтернету на основному пристрої.
Пристрій навряд чи підійде для реального використання в повсякденному житті. Прототип повинен бути модернізований, щоб збільшити час автономної роботи, зменшити вагу і зробити його менш громіздким і зручним у використанні.