Портативна та неінвазивна установка «розшифровує» думки з урахуванням електроенцефалограми.
Дослідники з Сіднейського технологічного університету розробили першу у світі портативну неінвазивну систему, яка може декодувати думки та перетворювати їх на текст. Технологія в майбутньому допоможе спілкуватися людям, які не можуть говорити через хворобу чи травму, наприклад, після інсульту або внаслідок паралічу.
Інженери продемонстрували роботу пристрою на конференції NeurIPS у Новому Орлеані. Під час доповіді учасники мовчки читали уривки тексту, одягнувши «шапочку», яка записувала електричну активність мозку через шкіру голови за допомогою електроенцефалограми (ЕЕГ).
Хвиля ЕЕГ сегментується на окремі блоки, які вловлюють певні характеристики та закономірності людського мозку. Це робиться за допомогою моделі штучного інтелекту під назвою DeWave, розробленої сіднейськими вченими. DeWave, навчена на великому масиві ЕЕГ, переводить сигнали у слова та речення.
Існуючі технології перекладу сигналів мозку в мову вимагали або імплантації електродів у мозок, або сканування апаратом МРТ. Перший метод дуже небезпечний та дорогий, другий складний та недоступний для повсякденного використання, зазначають вчені. Крім того, ці методи важко перетворюють сигнали мозку в слова без додаткових засобів, наприклад, відстеження погляду.
Демонстрація роботи системи
У дослідженні Сіднейського технологічного університету взяли участь 29 людей. Використання сигналів ЕЕГ, отриманих за допомогою «шапки», а не від електродів, імплантованих у мозок, робить сигнал більш голоснішим та спотвореним. Але аналіз показав, що DeWave демонструє здатність дешифрувати текст не гірше за інвазивні методи.
Показник точності перекладу системою BLEU-1 нині становить близько 40%. Оцінка BLEU вимірює схожість перекладеного машиною тексту із набором високоякісних довідкових перекладів. Дослідники сподіваються, що в міру навчання ШІ цей показник покращиться до рівня, який можна порівняти з традиційними програмами мовного перекладу або розпізнавання мови, що наближається до 90%.