Дослідники реконструювали музику, використовуючи дані ЕЕГ пацієнтів, які її слухали.
Нейробіологи з Каліфорнійського університету в Берклі використовували систему ШІ для реконструкції частини музичного твору на основі активності мозку слухачів. Хоча «композиція» не в повному обсязі відповідає оригіналу, в ній можна дізнатися основну мелодію.
Реконструкція пісні «Another Brick in the Wall» на основі активності мозку
Вчені використовували дані, зібрані під час іншого експерименту більше 10 років тому. 29 пацієнтам лікарні Медичного центру Олбані на поверхню мозку встановили електроди, які записували його активність. Пацієнти лікувалися від епілепсії і паралельно брали участь в наукових дослідженнях.
Зокрема, їм включали пісню групи Pink Floyd «Another Brick in the Wall» і перевіряли, чи можуть моделі декодування ідентифікувати різні музичні твори і жанри.
Ілюстрація реконструкції пісні на основі запису активності мозку. Зображення: Ludovic Bellier and Robert Knight, UC Berkeley
Дослідники з Каліфорнійського університету повторно проаналізували старі записи ЕЕГ, щоб перевірити, чи може ШІ використовувати дані активності мозку для реконструкції музики і вилучення додаткової інформації. Експеримент закінчився успіхом.
Крім реконструкції дослідники визначили області мозку, які беруть участь у виявленні різних музичних звуків. Вони показали, що деякі частини слухової кори мозку більш чутливі до ритму або звуків гітари, а інші — до вокалу. Результати дослідження допоможуть краще зрозуміти пристрій мозку і прискорити створення нейроімплантів і якісних інтерфейсів мозок — комп’ютер.