Інженери представили неінвазивну систему декодування мови на основі мозкової активності. Дослідження опубліковано в журналі Nature Neuroscience.
Дослідники з Техаського університету в Остіні створили неінвазивний семантичний декодер — систему, здатну перетворити мозкову активність людини під час прослуховування історії або роботи уяви в безперервний потік тексту. Розробка в майбутньому допоможе спілкуватися людям, які знаходяться в свідомості, але не можуть говорити, наприклад, після перенесеного інсульту.
Щоб навчити систему розпізнавати мову, її навчають на патернах мозкової активності конкретної людини. Учасника поміщають в сканер для функціональної МРТ (фМРТ), де він протягом декількох годин слухає подкасти, в той час, як система записує дані про активність мозку.
Навчений на основі такого набору даних семантичний декодер дозволяє досить точно розпізнавати думки людини при прослуховуванні інших подкастів або історії, які він розповідає в уяві. Для аналізу даних дослідники використовують моделі, аналогічні вживаним в чат-ботах, як ChatGPT або Bard AI.
Результат не є дослівною розшифровкою сказаного. Замість цього він вловлює суть висловлювання і передає головну думку. Він генерує текст, який близько (рідше точно) відповідає передбачуваному значенню вихідних слів. Наприклад, для учасника, який чув фразу «У мене ще немає водійських прав», декодер генерував текст: «Вона ще навіть не почала вчитися водити».
Хоча така система все ще недосконала — це великий прогрес для неінвазивних систем розпізнавання мови, відзначають дослідники. Попередні розробки вимагали імплантування в мозок пристроїв і працювали тільки з обмеженим запасом слів. Для практичного застосування буде потрібно подальший розвиток технології: як в частині точності розпізнавання мови, так і у відсутності необхідності для учасника постійно перебувати в сканері фМРТ.