Технології

Нова система складає тексти для інструментальної музики

Дослідники з Університету Ватерлоо розробили LyricJam – передову обчислювальну систему, яка генерує тексти для живої інструментальної музики.

Нова система LyricJam допоможе артистам складати нові тексти, які добре поєднуються з музикою.

“Мета нашого дослідження – розробка системи, яка може генерувати тексти пісень, що відображають настрій і емоції, які виражаються через різні аспекти музики. Йдеться про акорди, використовуваних інструментів, темпі. Ми прагнули створити інструмент, який музиканти могли б використовувати, щоб черпати натхнення для написання власних пісень”, – говорить Ольга Вечтомова, автор дослідження

По суті, LyricJam являє собою систему штучного інтелекту. З точки зору користувача додаток дуже простий: музичний виконавець відтворює живу музику, а система відображає рядки тексту, які він генерує в реальному часі у відповідь на музику, яку чує. Згенеровані рядки зберігаються.

Нова система складає тексти для інструментальної музики
Приклади текстів, створених LyricJam для різних типів інструментальної музики. Звукові записи представлені у вигляді спектрограм, що відображають різні музичні характеристики. Надано: Вечтомова, Саху і Кумар.

Система, створена дослідниками, працює шляхом перетворення необроблених аудіофайлів в спектрограми. Потім використовуються моделі глибокого навчання для створення текстів пісень, відповідних музиці, яку вони обробляли в реальному часі. Архітектура моделі складається з двох варіаційних автоенкодерів, один з яких призначений для вивчення уявлення музичного звуку, а інший – для вивчення текстів.

Натхнення: hightech.fm


Підписуйтеся на нас в Гугл Новини, а також читайте в Телеграм і Фейсбук


Back to top button