Уже стонут фотографы и художники от нейросетей, и вот пришла очередь музыкантов.
Пушной зверек подкрался незаметно? Плакать и спасаться уже поздно.
Google представили (https://google-research.github.io/seanet/musiclm/examples/) новый ИИ, который генерирует музыку по текстовому запросу
MusicLM – так называется сервис, способен генерировать песни по текстовому описанию, по вашим образцам музыки или по загруженному изображению.
Аннотация:
Мы представляем MusicLM, модель, генерирующую высококачественную музыку из текстовых описаний, таких как "успокаивающая мелодия скрипки, подкрепленная искаженным гитарным риффом". MusicLM преобразует процесс условной генерации музыки в задачу иерархического последовательного моделирования и генерирует музыку с частотой 24 кГц, которая остается неизменной в течение нескольких минут. Наши эксперименты показывают, что MusicLM превосходит предыдущие системы как по качеству звука, так и по соответствию текстовому описанию. Более того, мы демонстрируем, что MusicLM может быть обусловлено как текстом, так и мелодией, поскольку оно может преобразовывать свистящие и напевные мелодии в соответствии со стилем, описанным в подписи к тексту. Для поддержки будущих исследований мы публично публикуем MusicCaps, набор данных, состоящий из 5,5 тыс. пар музыка-текст, с подробными текстовыми описаниями, предоставленными экспертами-людьми.
Пушной зверек подкрался незаметно? Плакать и спасаться уже поздно.
Google представили (https://google-research.github.io/seanet/musiclm/examples/) новый ИИ, который генерирует музыку по текстовому запросу
MusicLM – так называется сервис, способен генерировать песни по текстовому описанию, по вашим образцам музыки или по загруженному изображению.
Аннотация:
Мы представляем MusicLM, модель, генерирующую высококачественную музыку из текстовых описаний, таких как "успокаивающая мелодия скрипки, подкрепленная искаженным гитарным риффом". MusicLM преобразует процесс условной генерации музыки в задачу иерархического последовательного моделирования и генерирует музыку с частотой 24 кГц, которая остается неизменной в течение нескольких минут. Наши эксперименты показывают, что MusicLM превосходит предыдущие системы как по качеству звука, так и по соответствию текстовому описанию. Более того, мы демонстрируем, что MusicLM может быть обусловлено как текстом, так и мелодией, поскольку оно может преобразовывать свистящие и напевные мелодии в соответствии со стилем, описанным в подписи к тексту. Для поддержки будущих исследований мы публично публикуем MusicCaps, набор данных, состоящий из 5,5 тыс. пар музыка-текст, с подробными текстовыми описаниями, предоставленными экспертами-людьми.
