Дослідники з Університету Ватерлоо розробили LyricJam – передову обчислювальну систему, яка генерує тексти для живої інструментальної музики.
Нова система LyricJam допоможе артистам складати нові тексти, які добре поєднуються з музикою.
“Мета нашого дослідження – розробка системи, яка може генерувати тексти пісень, що відображають настрій і емоції, які виражаються через різні аспекти музики. Йдеться про акорди, використовуваних інструментів, темпі. Ми прагнули створити інструмент, який музиканти могли б використовувати, щоб черпати натхнення для написання власних пісень”, – говорить Ольга Вечтомова, автор дослідження
По суті, LyricJam являє собою систему штучного інтелекту. З точки зору користувача додаток дуже простий: музичний виконавець відтворює живу музику, а система відображає рядки тексту, які він генерує в реальному часі у відповідь на музику, яку чує. Згенеровані рядки зберігаються.
Система, створена дослідниками, працює шляхом перетворення необроблених аудіофайлів в спектрограми. Потім використовуються моделі глибокого навчання для створення текстів пісень, відповідних музиці, яку вони обробляли в реальному часі. Архітектура моделі складається з двох варіаційних автоенкодерів, один з яких призначений для вивчення уявлення музичного звуку, а інший – для вивчення текстів.
Натхнення: hightech.fm