Софт для работы с голосами и музыкой (только с ИИ и тому подобное) (2 онлайн)

Давайте соберем, кто что знает из такого софта. Понятно, что мир смещается в сторону ИИ, и он должен стать нашим инструментом/помощником. Скидывайте, кто какой софт знает и что он делает. Меня в виду профиля работы (озвучки) интересует именно то, что работает с голосом и видоизменяет его, но чтобы это работало автономно на компе. Зачем? Ну, например, для внесения правок, если нет возможности записаться, или смены тембра для другой роли и т. п. Я, кстати, как-то пробовал RVC. Но, увы, ничего особо хорошего не вышло, так как не смог нормальные модели найти, а делать свои не хватило ресурсов компа.
 

Для работы с голосом (озвучка, синтез, клонирование):​


  1. ElevenLabs
    — Онлайн-сервис для генерации реалистичной речи, поддержка русского и множества акцентов, клонирование/создание новых голосов.
  2. Melobytes
    — Сайт для генерации музыки и речи по тексту/эмоциям. Быстрый ИИ-голос для роликов.
  3. Voice.ai
    — Программа для изменения реального времени и генерации новых голосов с ИИ.
  4. Descript (Overdub)
    — Программное обеспечение для монтажа аудио и видео, есть функция обучения на вашем голосе и генерации синтетической речи.
  5. iSpeech, PlayHT, Respeecher, Murf.ai
    — Различные онлайн-инструменты для генерации речи, кастомной озвучки, дубляжа.

Для работы с музыкой (создание, генерация, ремиксы):​


  1. AIVA
    — Онлайн-композитор на основе ИИ, пишет музыку по вашим параметрам и жанрам.
  2. Soundful, Boomy, Amper Music
    — Создание треков и мелодий с помощью нейронных сетей для разных нужд (от фоновых мелодий до полноценных треков).
  3. Endlesss, BandLab SongStarter
    — ИИ-ассистенты для создания идей песен, битов, музыкальных сессий.
  4. LALAL.AI, Splitter.ai, Spleeter by Deezer
    — Инструменты на базе ИИ для разделения вокала и инструментала, создания караоке-версий.
  5. OpenAI Jukebox (ограниченно, через Colab)
    — Экспериментальный генератор музыки и вокала по тексту/стилю (сложно пользоваться, но результат может быть интересен).

Для комплексной работы (все вместе):​


  • Adobe Podcast (бывший Project Shasta)
    — ИИ-инструменты для улучшения качества звука, удаления шумов, генерации голоса.
  • Audacity (с плагинами типа Whisper, Bark, AI Noise Reduction)
    — Бесплатный аудиоредактор, поддерживает работу с ИИ-плагинами.
 
  • Like
Реакции: Andruha

ИИ чистка/реставрация голоса, есть настройки, гораздо бережнее к исходнику чем adobe podcast.
 
@Kostya, вопрос :
есть диктор, есть начитки, можно на основе этого "генерить" ее голосом из текста: новости (около 4мин, или короткие ролики до 30 сек)
и если есть такой сервис - он фри или нет? вроде по описаниь Melobytes подходит ? Спасибо )
 

ИИ чистка/реставрация голоса, есть настройки, гораздо бережнее к исходнику чем adobe podcast.

Вот чистка голоса задача очень актуальна. Попробую.
 
@Kostya, вопрос :
есть диктор, есть начитки, можно на основе этого "генерить" ее голосом из текста: новости (около 4мин, или короткие ролики до 30 сек)
и если есть такой сервис - он фри или нет? вроде по описаниь Melobytes подходит ? Спасибо )
Без цитаты
Ну вот через RVC можно, но там не текстом (не TTS), а нужно в любом случае на вход подать чью-то речь (то есть это технология STS), которая будет подменяться другим тембром. И предварительно голосовую модель нужно обучить, ресурсы компа здесь, конечно, играют очень большую роль.
 
  • interesting
Реакции: Andruha

Для работы с голосом (озвучка, синтез, клонирование):​


  1. ElevenLabs
    — Онлайн-сервис для генерации реалистичной речи, поддержка русского и множества акцентов, клонирование/создание новых голосов.
  2. Melobytes
    — Сайт для генерации музыки и речи по тексту/эмоциям. Быстрый ИИ-голос для роликов.
  3. Voice.ai
    — Программа для изменения реального времени и генерации новых голосов с ИИ.
  4. Descript (Overdub)
    — Программное обеспечение для монтажа аудио и видео, есть функция обучения на вашем голосе и генерации синтетической речи.
  5. iSpeech, PlayHT, Respeecher, Murf.ai
    — Различные онлайн-инструменты для генерации речи, кастомной озвучки, дубляжа.

Для работы с музыкой (создание, генерация, ремиксы):​


  1. AIVA
    — Онлайн-композитор на основе ИИ, пишет музыку по вашим параметрам и жанрам.
  2. Soundful, Boomy, Amper Music
    — Создание треков и мелодий с помощью нейронных сетей для разных нужд (от фоновых мелодий до полноценных треков).
  3. Endlesss, BandLab SongStarter
    — ИИ-ассистенты для создания идей песен, битов, музыкальных сессий.
  4. LALAL.AI, Splitter.ai, Spleeter by Deezer
    — Инструменты на базе ИИ для разделения вокала и инструментала, создания караоке-версий.
  5. OpenAI Jukebox (ограниченно, через Colab)
    — Экспериментальный генератор музыки и вокала по тексту/стилю (сложно пользоваться, но результат может быть интересен).

Для комплексной работы (все вместе):​


  • Adobe Podcast (бывший Project Shasta)
    — ИИ-инструменты для улучшения качества звука, удаления шумов, генерации голоса.
  • Audacity (с плагинами типа Whisper, Bark, AI Noise Reduction)
    — Бесплатный аудиоредактор, поддерживает работу с ИИ-плагинами.

Но в любом случае это почти всё онлайн-сервисы. Хочется автономии, чтобы на своём компе работало не зависимо от наличия интернета и т.п.
 
@Kostya, вопрос :
есть диктор, есть начитки, можно на основе этого "генерить" ее голосом из текста: новости (около 4мин, или короткие ролики до 30 сек)
и если есть такой сервис - он фри или нет? вроде по описаниь Melobytes подходит ? Спасибо )
Без цитаты
Самый быстрый в плане адекватного результата это 11labs, прямо вот можно сходу рабочую начитку получить. Но за деньги. Но если есть поток, то сумма вполне подьемная.
 
  • Like
Реакции: Andruha
Но в любом случае это почти всё онлайн-сервисы. Хочется автономии, чтобы на своём компе работало не зависимо от наличия интернета и т.п.

в плане чистки ВСТ - dxrevive, clear, waves clarity. Это все нейронки. Есть еще что варианты, упомянул то что в арсенале. Но если что-то типа подкастов, интервью и тп, то тот же ауфоник гораздо быстрее с приемлемым результатом
 
@Kostya, вопрос :
есть диктор, есть начитки, можно на основе этого "генерить" ее голосом из текста: новости (около 4мин, или короткие ролики до 30 сек)
и если есть такой сервис - он фри или нет? вроде по описаниь Melobytes подходит ? Спасибо )
@Andruha, сам пока не пробовал)
 
Кстати, последние дня 3-4 что-то не работает. Даже с квн. У всех так ?

Podcast.jpg

Прям спасение было для убитых в усмерть синхронов.

С Ауфоником так и не смог подружиться. Знакомый звукорежиссёр говорит, мол, - прям почти студийный "сухарь" делает.
Вроде настроек много, а подкаст лучше НМВ чистит.
 
Друзья подскажите пожалуйста, а есть что то локальное на основе AI (не онлайн а именно локально на компе), к примеру закинул стемы, и ai выровняла хотя бы громкости треков (панораму и эквализацию) под референс? А там уже ручками доведу до нужного мне звука.
Желательно чтобы софтина корректно с электронной музыкой работала.

ps: сильно не ругать - я за последние 4 года так сильно отстал от технологий, недавно вернулся к своей музыке после долгого перерыва и понял, что потерял навык сведения абсолютно :confused:
 

Сейчас просматривают