Фахівці з Нью-Йоркського університету створили нейромережу, здатну аналізувати нейронну активність кори головного мозку і по ній реконструювати мову людини. Щобільше, вчені додатково навчили мережу відтворювати голос пацієнта за кількома зразками голосових або відеозаписів, дозволяючи людям повернути свій голос навіть після його втрати.
КТ-реконструкція розміщення електродної ЕКоГ сітки (виділено жовтим) у одного з пацієнтів / © NYU Tandon School of Engineering
Людська мова – це складна поведінкова активність, яка включає в себе не тільки управління рухами безлічі ротових, гортанних і дихальних м’язів, але і одночасну обробку власної мови для її коригування. Розділення розгалужених нейронних мереж мозку, які контролюють точні рухи м’язів і обробляють слуховий зворотний зв’язок, визнають вкрай складним завданням. Однак її необхідно вирішити для розробки мовних протезів наступного покоління.
У багатьох моделях виробництва мови прийнято вважати, що ці дві системи анатомічно розділені. Система прямого зв’язку в основному управляється вентральною лобовою корою, тоді як обробка зворотного зв’язку здійснюється через різні сенсорні зони кори (наприклад, через звивину Гешля і верхню скроневу звивину). Але на практиці дві мережі нейронів значно перекриваються і взаємодіють, і навіть найсучасніші методи електрокортикографії (запис біоелектричної активності мозку за допомогою реєстрації сигналів з мережі електродів, імплантованих в кору головного мозку) не здатні відокремити процеси виробництва мови від її обробки.
У новій роботі група дослідників з США представила власну архітектуру нейромережі глибокого навчання, що тренується на електрокортикографічних (ЕКоГ) записах активності кори головного мозку людини для просторового і часового дозволу моторних і сенсорних сигналів. Навчаючи нейромережу застосовувати причинні (використовуючи поточні і минулі нейронні сигнали), антипричинні (використовуючи поточні і майбутні нейронні сигнали) або непричинні (їх комбінацію) тимчасові згортки, авторам дослідження вдалося реконструювати людську мову. Про свою розробку колектив вчених розповів у статті, опублікованій в журналі Proceedings of the National Academy of Sciences.
Система декодування мови / © Wang R., et al., Proceedings of the National Academy of Sciences (2023)
Дослідники використовували нейромережу для створення власних протезів, які зможуть зчитувати активність мозку і декодувати її безпосередньо в мову. Більш того, прототип фахівців з Нью-Йоркського університету має ще одну особливість: він здатний значною мірою відтворити голос пацієнта, використовуючи лише невеликий набір записів — наприклад, з відео на YouTube або записи Zoom.
Декодовані та оригінальні зразки мови / © Wang R., et al., Proceedings of the National Academy of Sciences (2023)
Для збору даних і тестування свого прототипу дослідники звернулися до групи з п’яти пацієнтів з діагностованою рефрактерною епілепсією і порушеннями розвитку мови. У цьому стані пацієнт, який страждає судомними нападами, не реагує на лікування протиепілептичними препаратами в адекватних дозах і комбінаціях, а значить, не піддається медикаментозному лікуванню.
Цим пацієнтам імплантували в ліву півкулю мозку сітку з 64 стандартних субдуральних (розміщених на поверхні кори головного мозку) електродів ЕЕГ для моніторингу їх стану протягом тижневого експерименту. Крім того, їм встановлювали додаткові 64 електроди меншого розміру, що чергуються між звичайними клінічними електродами для підвищення просторової роздільної здатності зчитуваного сигналу. Імплантована еког-матриця надала дослідникам ключову інформацію про діяльність мозку під час процесу виголошення мови, що дозволяло з високою точністю її декодувати.