Дослідники з Корейського національного інституту науки і технологій Ульсана (UNIST) розробили натільну систему, здатну розпізнавати та аналізувати людські емоції. Різні датчики поміщаються на обличчя та моніторять деформацію м’язів обличчя та голосову вібрацію, що дозволяє розпізнавати емоційний стан людини в режимі реального часу. Технологія автономна та використовує бездротову передачу даних. Розробка може знайти застосування у різних областях — від медичних роботів-компаньйонів до віртуальної реальності.
Вчені поєднали виявлення деформації лицьових м’язів та вібрації голосових зв’язок для розпізнавання емоцій у режимі реального часу. В основі лежить персоналізований лицьовий інтерфейс, який моніторить тертя шкіри та вібрацію для оцінки людських емоцій та генерації власної енергії. Це дозволяє одночасно сприймати та аналізувати дані вербальної та невербальної експресії. Усі дані передаються бездротовим шляхом.
Пристрій, що носиться, складається з набору тонких, прозорих, гнучких датчиків, які прикріплюються до обличчя з лівого і правого боку. Є індикатори на лобі, біля очей, біля носа, поруч із губами та на підборідді. Команда стверджує, що їх можна виготовити індивідуально. Після встановлення датчики підключаються до ШІ-системи, яка навчена розпізнавати людські емоції на основі змін у напрузі обличчя та вібрації голосу.
Технологія заснована на явищі «зарядки тертям», коли при терті об’єкти поділяються на позитивні та негативні заряди, генеруючи енергію. Це забезпечує систему власним джерелом живлення, що дозволяє працювати без необхідності зовнішніх джерел енергії або складних вимірювальних пристроїв.
Команда провела експерименти з розпізнавання емоцій, збираючи мультимодальні дані, такі як деформація м’язів обличчя і голос. Технологія точно розпізнавала емоції за мінімального навчання. Вчені також впровадили розробку в середовище віртуальної реальності, щоб надати користувачеві рекомендації щодо книг, музики та фільмів, ґрунтуючись на його емоційному стані. У майбутньому вдосконалені VR-гарнітури з такою технологією можуть застосовуватися ширше.