Софт для работы с голосами и музыкой (только с ИИ и тому подобное) (2 онлайн)

Давайте соберем, кто что знает из такого софта. Понятно, что мир смещается в сторону ИИ, и он должен стать нашим инструментом/помощником. Скидывайте, кто какой софт знает и что он делает. Меня в виду профиля работы (озвучки) интересует именно то, что работает с голосом и видоизменяет его, но чтобы это работало автономно на компе. Зачем? Ну, например, для внесения правок, если нет возможности записаться, или смены тембра для другой роли и т. п. Я, кстати, как-то пробовал RVC. Но, увы, ничего особо хорошего не вышло, так как не смог нормальные модели найти, а делать свои не хватило ресурсов компа.
 

Для работы с голосом (озвучка, синтез, клонирование):​


  1. ElevenLabs
    — Онлайн-сервис для генерации реалистичной речи, поддержка русского и множества акцентов, клонирование/создание новых голосов.
  2. Melobytes
    — Сайт для генерации музыки и речи по тексту/эмоциям. Быстрый ИИ-голос для роликов.
  3. Voice.ai
    — Программа для изменения реального времени и генерации новых голосов с ИИ.
  4. Descript (Overdub)
    — Программное обеспечение для монтажа аудио и видео, есть функция обучения на вашем голосе и генерации синтетической речи.
  5. iSpeech, PlayHT, Respeecher, Murf.ai
    — Различные онлайн-инструменты для генерации речи, кастомной озвучки, дубляжа.

Для работы с музыкой (создание, генерация, ремиксы):​


  1. AIVA
    — Онлайн-композитор на основе ИИ, пишет музыку по вашим параметрам и жанрам.
  2. Soundful, Boomy, Amper Music
    — Создание треков и мелодий с помощью нейронных сетей для разных нужд (от фоновых мелодий до полноценных треков).
  3. Endlesss, BandLab SongStarter
    — ИИ-ассистенты для создания идей песен, битов, музыкальных сессий.
  4. LALAL.AI, Splitter.ai, Spleeter by Deezer
    — Инструменты на базе ИИ для разделения вокала и инструментала, создания караоке-версий.
  5. OpenAI Jukebox (ограниченно, через Colab)
    — Экспериментальный генератор музыки и вокала по тексту/стилю (сложно пользоваться, но результат может быть интересен).

Для комплексной работы (все вместе):​


  • Adobe Podcast (бывший Project Shasta)
    — ИИ-инструменты для улучшения качества звука, удаления шумов, генерации голоса.
  • Audacity (с плагинами типа Whisper, Bark, AI Noise Reduction)
    — Бесплатный аудиоредактор, поддерживает работу с ИИ-плагинами.
 
  • Like
Реакции: Andruha

ИИ чистка/реставрация голоса, есть настройки, гораздо бережнее к исходнику чем adobe podcast.
 
@Kostya, вопрос :
есть диктор, есть начитки, можно на основе этого "генерить" ее голосом из текста: новости (около 4мин, или короткие ролики до 30 сек)
и если есть такой сервис - он фри или нет? вроде по описаниь Melobytes подходит ? Спасибо )
 

ИИ чистка/реставрация голоса, есть настройки, гораздо бережнее к исходнику чем adobe podcast.

Вот чистка голоса задача очень актуальна. Попробую.
 
@Kostya, вопрос :
есть диктор, есть начитки, можно на основе этого "генерить" ее голосом из текста: новости (около 4мин, или короткие ролики до 30 сек)
и если есть такой сервис - он фри или нет? вроде по описаниь Melobytes подходит ? Спасибо )
Без цитаты
Ну вот через RVC можно, но там не текстом (не TTS), а нужно в любом случае на вход подать чью-то речь (то есть это технология STS), которая будет подменяться другим тембром. И предварительно голосовую модель нужно обучить, ресурсы компа здесь, конечно, играют очень большую роль.
 
  • interesting
Реакции: Andruha

Для работы с голосом (озвучка, синтез, клонирование):​


  1. ElevenLabs
    — Онлайн-сервис для генерации реалистичной речи, поддержка русского и множества акцентов, клонирование/создание новых голосов.
  2. Melobytes
    — Сайт для генерации музыки и речи по тексту/эмоциям. Быстрый ИИ-голос для роликов.
  3. Voice.ai
    — Программа для изменения реального времени и генерации новых голосов с ИИ.
  4. Descript (Overdub)
    — Программное обеспечение для монтажа аудио и видео, есть функция обучения на вашем голосе и генерации синтетической речи.
  5. iSpeech, PlayHT, Respeecher, Murf.ai
    — Различные онлайн-инструменты для генерации речи, кастомной озвучки, дубляжа.

Для работы с музыкой (создание, генерация, ремиксы):​


  1. AIVA
    — Онлайн-композитор на основе ИИ, пишет музыку по вашим параметрам и жанрам.
  2. Soundful, Boomy, Amper Music
    — Создание треков и мелодий с помощью нейронных сетей для разных нужд (от фоновых мелодий до полноценных треков).
  3. Endlesss, BandLab SongStarter
    — ИИ-ассистенты для создания идей песен, битов, музыкальных сессий.
  4. LALAL.AI, Splitter.ai, Spleeter by Deezer
    — Инструменты на базе ИИ для разделения вокала и инструментала, создания караоке-версий.
  5. OpenAI Jukebox (ограниченно, через Colab)
    — Экспериментальный генератор музыки и вокала по тексту/стилю (сложно пользоваться, но результат может быть интересен).

Для комплексной работы (все вместе):​


  • Adobe Podcast (бывший Project Shasta)
    — ИИ-инструменты для улучшения качества звука, удаления шумов, генерации голоса.
  • Audacity (с плагинами типа Whisper, Bark, AI Noise Reduction)
    — Бесплатный аудиоредактор, поддерживает работу с ИИ-плагинами.

Но в любом случае это почти всё онлайн-сервисы. Хочется автономии, чтобы на своём компе работало не зависимо от наличия интернета и т.п.
 
@Kostya, вопрос :
есть диктор, есть начитки, можно на основе этого "генерить" ее голосом из текста: новости (около 4мин, или короткие ролики до 30 сек)
и если есть такой сервис - он фри или нет? вроде по описаниь Melobytes подходит ? Спасибо )
Без цитаты
Самый быстрый в плане адекватного результата это 11labs, прямо вот можно сходу рабочую начитку получить. Но за деньги. Но если есть поток, то сумма вполне подьемная.
 
  • Like
Реакции: Andruha
Но в любом случае это почти всё онлайн-сервисы. Хочется автономии, чтобы на своём компе работало не зависимо от наличия интернета и т.п.

в плане чистки ВСТ - dxrevive, clear, waves clarity. Это все нейронки. Есть еще что варианты, упомянул то что в арсенале. Но если что-то типа подкастов, интервью и тп, то тот же ауфоник гораздо быстрее с приемлемым результатом
 
@Kostya, вопрос :
есть диктор, есть начитки, можно на основе этого "генерить" ее голосом из текста: новости (около 4мин, или короткие ролики до 30 сек)
и если есть такой сервис - он фри или нет? вроде по описаниь Melobytes подходит ? Спасибо )
@Andruha, сам пока не пробовал)
 
Кстати, последние дня 3-4 что-то не работает. Даже с квн. У всех так ?

Podcast.jpg

Прям спасение было для убитых в усмерть синхронов.

С Ауфоником так и не смог подружиться. Знакомый звукорежиссёр говорит, мол, - прям почти студийный "сухарь" делает.
Вроде настроек много, а подкаст лучше НМВ чистит.
 
Друзья подскажите пожалуйста, а есть что то локальное на основе AI (не онлайн а именно локально на компе), к примеру закинул стемы, и ai выровняла хотя бы громкости треков (панораму и эквализацию) под референс? А там уже ручками доведу до нужного мне звука.
Желательно чтобы софтина корректно с электронной музыкой работала.

ps: сильно не ругать - я за последние 4 года так сильно отстал от технологий, недавно вернулся к своей музыке после долгого перерыва и понял, что потерял навык сведения абсолютно :confused:
 
Вроде настроек много, а подкаст лучше НМВ чистит
ауфоник даёт хороший исходник для дальнейшей обработки например. вообщем если нужен натур продукт то ауфоник, если колбаска готовая, щедро приправленная , то подкаст. сугубо личные впечатления.

Ещё наблюдение(достаточно старое) подкаст хуже на подмес работает, фаза тю-тю, во всяком случае год-полтора назад так было. Ауфоник четкий в этом вопросе
 
ауфоник даёт хороший исходник для дальнейшей обработки например. вообщем если нужен натур продукт то ауфоник, если колбаска готовая, щедро приправленная , то подкаст. сугубо личные впечатления.

Ещё наблюдение(достаточно старое) подкаст хуже на подмес работает, фаза тю-тю, во всяком случае год-полтора назад так было. Ауфоник четкий в этом вопросе
Аудиофоник, получается, только в онлайн работает. Такую бы шутку автономную. Кстати, есть такая вещь, называется Pinokio. Это аккумулятор нейросетей для разных задач. Но их там столько, что «черт ногу сломит». Для аудио я там смог найти только RVC (ну потому что о ней знал) и транскрибатор Whisper (так как тоже о нём знал). https://pinokio.co/
 
@zga, вот есть конкретный пример. Подкаст справился прям на отлично, в подмес добавлял оригинал для шума улицы.
Но как не крутил ауфоник - он так сделать не мог. Если подскажешь алгоритм ауфоника как это сделать - буду премного благодарен, ибо подкаст чёт не открывается. Даже с квн.

Оригинал -


Подкаст -

 
@ESSE, ауфоник так сделал, алгоритм voice isolate -12db, dereverb off, остальное по умолчанию.

upd второй вариант без украшений, эквалйзер, левелер выключен



 

Вложения

Последнее редактирование:
  • Love
Реакции: ESSE

Сейчас просматривают

  • vaXO