ИИ Модели для генерации аудио (15 онлайн)

gizy843

Member
29 Мар 2025
71
15
8
21
Всем привет, меня недавно очень затянула тема локального инференса нейросетей, генерировал картинки, видосы, и теперь стало интересно попробовать что то новое.
Я знаю что нейросети сейчас вообще не тянут на нормальный звук, я не собираюсь становится ИИ продюсером)
Просто хочу удовлетворить свой интерес, и прошу вас, дорогие жители форума, посоветовать лучшие модели с открытыми весами. Что я для себя выделил по открытому поиску это:
YuE2
MiniMax Music 3
Stable Audio 3.0
Но прям комплексное, наглядное сравнение, как то найти не смог(
Буду благодарен за любую информацию!!!
 
Привет! Я стараюсь устанавливать и сравнивать всё, что на локалке появляется. По моим наблюдениям:
MiniMax - плохо, HeartMuLa - плохо, Stable Audio не тестил, хватило демок (там плохо).

YuE2 - огонь, единственная нейронка, которая миди генерит и наоборот: умеет как референс принимать миди данные. Хоть и в мудрёном формате ABS. Есть недостаток: по аранжу музыка бедновата.
ACE_Step1.5 XL - на данный момент лучшее, что я тестил. Качество музыки отменное, результат в принципе похож на музыку :) Но, арранжи бедноваты в сравнении с тем же Суно. Хоть и заметно лучше, чем у YuE2.

Так же, я обнаружил, что модели не знают некоторые стили. Некоторые не знают полностью, на некоторых натренированы слабо: я все модели тестил на synthwave и, к примеру, ACE_Step1.5xl выдаёт буквально единицы аранжировок, которые повторяются с разным музыкальным наполнением.

Если нужно какой-то промт протестить - кидай сюда текст, сгененирую через YuE2 и ACE_Step1.5 XL.
 
  • Like
Реакции: gizy843
Так же, я обнаружил, что модели не знают некоторые стили. Некоторые не знают полностью
SUNO, при всём своём лидерстве на рынке, тоже не всё знает. Когда я в V5, попытался сгенерировать Psy Trance, генерация уехала куда-то в коммерческий аплифтинг с фестивалей. Я ожидал услышать Full On, который у "трушников" - тоже считается попсой с фестивалей.
 
  • Like
Реакции: Kokarev Maxim
Привет! Я стараюсь устанавливать и сравнивать всё, что на локалке появляется. По моим наблюдениям:
MiniMax - плохо, HeartMuLa - плохо, Stable Audio не тестил, хватило демок (там плохо).

YuE2 - огонь, единственная нейронка, которая миди генерит и наоборот: умеет как референс принимать миди данные. Хоть и в мудрёном формате ABS. Есть недостаток: по аранжу музыка бедновата.
ACE_Step1.5 XL - на данный момент лучшее, что я тестил. Качество музыки отменное, результат в принципе похож на музыку :) Но, арранжи бедноваты в сравнении с тем же Суно. Хоть и заметно лучше, чем у YuE2.

Так же, я обнаружил, что модели не знают некоторые стили. Некоторые не знают полностью, на некоторых натренированы слабо: я все модели тестил на synthwave и, к примеру, ACE_Step1.5xl выдаёт буквально единицы аранжировок, которые повторяются с разным музыкальным наполнением.

Если нужно какой-то промт протестить - кидай сюда текст, сгененирую через YuE2 и ACE_Step1.5 XL.
Спасибо большое за ответ)
Я забыл про важное уточнение, то что мне интереснее затестить нейросеть не для создания полноценных песен, а генерации отдельных семплов, просто попробовать добавить какие то текстуры или призвуки в свои биты. По жанрам интересует только хип-хоп, оркестровые инструменты, вокалы.
Так же очень интересно есть ли хоть какая то нейросеть в мире, которая способна взять за референс мой вокал, и сгенерировать к нему хор. Может конечно я слишком многого хочу) Я действительно не осознаю на что способны нейросети для генерации аудио)
 
Для ИИ пора выделять отдельную ветку. Что то слишком много этого гов дела стало на форуме. И кмк это не софт музыкальный.
 
Для ИИ пора выделять отдельную ветку. Что то слишком много этого гов дела стало на форуме. И кмк это не софт музыкальный.
Согласен, тоже был удивлён не найдя отдельную ветку для ИИ, хотя один только Suno уже мне кажется у каждого третьего современного продюсера имеется.
 
Спасибо большое за ответ)
Я забыл про важное уточнение, то что мне интереснее затестить нейросеть не для создания полноценных песен, а генерации отдельных семплов, просто попробовать добавить какие то текстуры или призвуки в свои биты. По жанрам интересует только хип-хоп, оркестровые инструменты, вокалы.
Так же очень интересно есть ли хоть какая то нейросеть в мире, которая способна взять за референс мой вокал, и сгенерировать к нему хор. Может конечно я слишком многого хочу) Я действительно не осознаю на что способны нейросети для генерации аудио)
Это нужно что-то типа аналога Суно Студио. Я не знаю вариантов на локалке. У ACE_Step есть опция ремикса и репайнта, но я так и не смог их протестировать, не разобрался как это работает.

А если сэмплы, то можно по классике: генерировать олдовый джаз и нарезать :)
 

Сейчас просматривают