Учені зі США зробили величезний крок у сфері нейротехнологій, розробивши інноваційний нейроінтерфейс, який дозволяє паралізованому пацієнту спілкуватися англійською та іспанською мовами. Ця технологія відкриває нові можливості для пацієнтів, які втратили здатність говорити, даруючи їм шанс знову спілкуватися зі світом. Результати опубліковані в Nature Biomedical Engineering.
Команда дослідників під керівництвом Едварда Чана з Каліфорнійського університету Сан-Франциско імплантувала електроди в мозок паралізованого після інсульту чоловіка. Електроди розмістили в моторних ділянках кори лівої півкулі, відповідальних за мовлення. Використовуючи нейронну мережу, дослідники навчили її розшифровувати сигнали з електродів у моменти, коли пацієнт намагався говорити, перетворюючи їх у текст. Спочатку словник декодера складався з 50 англійських слів, що дозволяло пацієнту складати прості речення зі швидкістю близько 15 слів на хвилину. Пізніше система була вдосконалена: декодер навчили працювати, навіть коли пацієнт вимовляв слова подумки, розширивши словник до 1152 слів.
Нові горизонти двомовного спілкування
Нове дослідження розширило можливості нейроінтерфейсу, додавши підтримку іспанської мови, яка була рідною для пацієнта. Використовуючи моделі природної мови та кіркову активність, декодер навчали на 70 англійських та 111 іспанських словах. Пацієнт читав фрази з екрану, намагаючись їх вимовити, а дані з електродів передавалися в класифікатор, який розраховував ймовірності подальших слів однією з мов. Завдяки цьому підходу декодер міг віддавати пріоритет лінгвістично допустимим фразам і правильно відмінювати дієслова.
На етапі тестування пацієнт читав 56 двомовних фраз у випадковому порядку, і декодер правильно розшифрував 73,3% фраз іспанською та 77,8% англійською. Важливим результатом стало те, що пацієнт зміг самостійно генерувати фрази зі словника, відповідаючи на запитання дослідників обома мовами.
Дослідники виявили, що одні й ті самі нейрони мовленнєвих моторних центрів активуються під час розмови як англійською, так і іспанською. Це вказує на те, що мовні моделі класифікації фіксують загальну артикуляційну інформацію, а не специфічні для конкретної мови сигнали. Іноді декодер плутав схожі за звучанням слова, але все одно міг правильно передбачати фрази.
Для подальшого розвитку технології вчені створили набір фраз, де англійські та іспанські слова складалися з однакових складів, застосувавши трансферне навчання декодера. Навчений однією мовою декодер успішно передбачав фрази іншою мовою. Такий підхід може значно прискорити навчання двомовних декодерів у майбутньому, особливо для мов, схожих одна на одну.