Концерт по заявкам: новая нейросеть споет по запросам пользователей

Новый проект называется Riffusion. Это гибрид слов riff – гитарный рифф и diffusion – от названия одной из первых нейросетей Stable Diffusion. Авторы нейросети Сет Форсгрен и Айк Мартирос утверждают, что сделали тонкую настройку вышеупомянутой Stable Diffusion на спектрограммах. Это визуальные представления звука, показывающие амплитуду различных частот во времени. Спектрограммы можно преобразовывать обратно в звук с довольно высокой точностью.

Нейросеть очень проста в использовании: нужно набрать текстовый запрос, выбрать один из стилей, в котором будет сгенерирована песня, нажать Play и послушать произведение.

Музыкальные критики, опробовавшие нейросеть, называют созданную ей музыку «de otro mundo» - потусторонней, таинственной. Предполагается, что AI-творчество не заменит человеческий талант.

Riffusion – далеко не первая нейросеть с возможностями создания музыки. В данный момент в Сети запущено как минимум 10 других вариантов, например, Birch, Music Star, Infinite Album и другие. Однако, каждая нейросеть имеет как свои преимущества, так и недостатки и пока не рассматривается как серьезный инструмент для музыкантов. Хотя первые достойные примеры машинных песен, предельно напоминающих «человеческие», уже есть…