Синхронизация аудио и видео win (1 онлайн

Lsw

Member
29 Июл 2012
180
21
18
Работаю в Bitwig Studio Win
Получил заказ на ремикс трейлера, мне были высланы: Сам трейлер Full HD и стэмы с 4 дорожками. Моя задача была наложить свою музыку, местами заменить оригинал, сделать агрессивнее.
Темп я подобрал 168 bpm, хотя оргинал 84 bpm. Результат по времени точно синхронизирован с оригиналом, там же начинается, там же заканчивается. В понимании синхронизация она такая. И вот что он мне написал:

But something wrong with the sync. Timings for SFX to match cuts/slow-motion seem misplaced. Сan you confirm timing is off?
Please keep in mind that trailer is 60 FPS, not 30 FPS. Maybe that's why timing a bit off?

Я написал ему, что с таймингами и FPS не работал никогда и моя программа не содержит этих функций. И отправил ему WAW в 32 бита с плавающей. Результат он принял, но пожелал, чтобы в будущем я сам делал синхронизацию в Adobe.

Поделитесь пожалуйста полезными ссылками по изучении этой синхронизации и вкратце, если можно поясните принцип, что это вообще такое?
 

fakeitback

Super Moderator
Команда форума
6 Май 2005
14.408
15.302
113
42
Москва
Если вы работаете над звуком для видео, очевидно, что у вас в процессе работы должен синхронно выводиться видеопоток.

Работайте в daw которая имеет такую возможность. Nuendo, Pro Tools, Reaper...
 
  • Like
Реакции: Lsw

dugdum®

Active Member
12 Янв 2005
4.447
2.563
113
Москва, ЮАО
По моему опыту работы с озвучкой под видеоряд важно его конвертнуть в формат с постоянным битрейтом,
многие DAW не точно показывают картинку, если видео закодировано со всякими прибамбасами, сколько раз
накалывался, в DAW всё делаешь с точным синком под видео, а в итоге всё разъезжается, когда готовую звуковую дорожку
под видеоряд подкладываешь. а в музыкальном клипе рассинхрон на доли секунды и уже будет ерунда....
 
  • Like
Реакции: Lsw

inde

Active Member
1 Авг 2011
203
54
28
Москва
@dugdum®,

его конвертнуть в формат с постоянным битрейтом
Кого? видео? На сколько я знаю, битрейт тут (для синхронизации) не причём, важно: кадры в секунду (FPS) и частота дискретизации.
@Lsw,
А вообще звукорежиссёр совершенно не обязан подкладывать звук под видео. Обычно, после всех работ по звуку, звукорежиссер отдаёт готовый wav в монтажку и всё...
 
  • Like
Реакции: Lsw

fakeitback

Super Moderator
Команда форума
6 Май 2005
14.408
15.302
113
42
Москва
Проблемы бывают с видео, в котором применяется сжатие по ключевым кадрам (keyframes). Т.е. тот же всеми любимый h264, например.

Поэтому когда синхрон гарантированно важен - надо перекодировать такие видео в формат с покадровым сжатием (mjpeg, например, или банальный dv).

Да, и соответственно fps проекта должны соответствовать импортированному видео.

Сливать мастер видео должен монтажёр, конечно, но часто просят выслать превью со смонтированным звуком (да и просто это вежливо по отношению к клиенту).
 
  • Like
Реакции: Pushkin, inde и dugdum®

dugdum®

Active Member
12 Янв 2005
4.447
2.563
113
Москва, ЮАО
Кого? видео? На сколько я знаю, битрейт тут (для синхронизации) не причём, важно: кадры в секунду (FPS) и частота дискретизации.
@Lsw,
я потому и написал, потому что мой практический опыт говорит об обратном. проблемы с синком есть. если кто-то их научно формализует, я только спасибо скажу.
 

fakeitback

Super Moderator
Команда форума
6 Май 2005
14.408
15.302
113
42
Москва
Да почти все современные форматы сжатия либо b-frame, либо p-frame.

Я с телефона сейчас, оперативно не нагуглил, но точно список актуальных форматов по типу сжатия есть, чуть ли не в вики.
 
  • Like
Реакции: inde

inde

Active Member
1 Авг 2011
203
54
28
Москва
с покадровым сжатием (mjpeg, например, или банальный dv).
ошиблись? цитата из Вики - "В кодеках MJPEG и DV видеопотока все кадры — I-типа." то есть keyframes. А нет, понял. Все кадры опорные, то есть "целые", без b и p кадров...
 
Последнее редактирование:

Lsw

Member
29 Июл 2012
180
21
18
По моему опыту работы с озвучкой под видеоряд важно его конвертнуть в формат с постоянным битрейтом,
многие DAW не точно показывают картинку, если видео закодировано со всякими прибамбасами, сколько раз
накалывался, в DAW всё делаешь с точным синком под видео, а в итоге всё разъезжается, когда готовую звуковую дорожку
под видеоряд подкладываешь. а в музыкальном клипе рассинхрон на доли секунды и уже будет ерунда....
А каким образом оно разъезжается не могу понять?
[DOUBLEPOST=1498925995][/DOUBLEPOST]
@dugdum®,


Кого? видео? На сколько я знаю, битрейт тут (для синхронизации) не причём, важно: кадры в секунду (FPS) и частота дискретизации.
@Lsw,
А вообще звукорежиссёр совершенно не обязан подкладывать звук под видео. Обычно, после всех работ по звуку, звукорежиссер отдаёт готовый wav в монтажку и всё...
Точно!!! Видео которое он мне выслал с частотой дискретизации 48000, а я ему высылал в 44100. Может в этом дело?
Если так, то мне придётся работать в 48 000? Других вариантов нет?
 
Последнее редактирование:

dugdum®

Active Member
12 Янв 2005
4.447
2.563
113
Москва, ЮАО
А каким образом оно разъезжается не могу понять?
а очень просто, DAW показывает неверные кадры, не может понять с какого места таймлайна надо точно воспроизводить.
причем я столкнулся с тем, что оно ещё всегда и чуть по-разному показывает в плане синхры. а если загрузишь классику,
типа DV формата, то таких косяков не будет.
 

fakeitback

Super Moderator
Команда форума
6 Май 2005
14.408
15.302
113
42
Москва
Keyframes - это как раз когда берется кадр и в следующих кадрах отдельно кодируются только изменения в этом кадре. Т.е. у вас в кадре двигается автомобиль, а все остальное статично - вот автомобиль и кодируется
(это всё очень грубо говоря)

А в mjpeg том же каждый кадр кодируется отдельно, т.е. это просто набор jpeg-of стоящих подряд.
 

dugdum®

Active Member
12 Янв 2005
4.447
2.563
113
Москва, ЮАО
ЭМм... поясните?)
а что пояснять? как может влиять частота проекта на рассинхрон? он в данном случае от другого происходит, от того, что DAW не может
точно определить позицию по времени в видеодорожке и показывает её вам в процессе работы немного "рандомно".
 

inde

Active Member
1 Авг 2011
203
54
28
Москва
@fakeitback, Да, спасибо, уже дошло)) Но таблички с форматами так и не встретил...пока
[DOUBLEPOST=1498928814][/DOUBLEPOST]
а что пояснять?
Мы немного о разном говорим. Видео имеет частоту дискретизации 48000, а если у вас проект (звук) в 44100, как они синхронно встанут?
А то что DAW не может показать точно кадр из-за формата, это я уж понял...
 

inde

Active Member
1 Авг 2011
203
54
28
Москва
@dugdum®, @fakeitback, кстати, а в каких DAW Вы наблюдали такие проблемы?
[DOUBLEPOST=1498929256][/DOUBLEPOST]
видео не имеет такую частоту, обычно это 25, 30, 50 и т.д. кадров в секунду.
Вы прикалываетесь?)) Возможно я не правильно выразился...но, Писали когда нибудь звук под видео, ну на съёмочной площадке например или ещё где?
 

dugdum®

Active Member
12 Янв 2005
4.447
2.563
113
Москва, ЮАО

inde

Active Member
1 Авг 2011
203
54
28
Москва
48000 кадров в секунду
Не кадров, это частота дискретизации в Герцах. https://en.wikipedia.org/wiki/Sampling_(signal_processing)#Video_sampling
В табличке, на против 48,000 Hz написано - Стандартная частота дискретизации звука, используемая профессиональным цифровым видеооборудованием, таким как магнитофоны, видеосерверы, микшеры и так далее. Эта скорость была выбрана потому, что она могла восстанавливать частоты до 22 кГц и работать с 29,97 кадрами в секунду NTSC-видео, а также 25 кадров / с, 30 кадров / с и 24 кадра / с. При использовании систем 29,97 кадров / с необходимо обрабатывать 1601,6 звуковых сэмплов на кадр, доставляя целое число звуковых сэмплов только на каждый пятый видеокадр. [9] Также используется для звука с потребительскими видеоформатами, такими как DV, цифровое телевидение, DVD и фильмы.....(гугл переводчик)
 

fakeitback

Super Moderator
Команда форума
6 Май 2005
14.408
15.302
113
42
Москва
Для видео стандарт ЗВУКА - 48000 кадров в секунду. А ВИДЕО кадров в секунду может быть уложено по разному, как выше написали, 24, 25, 30 (точнее, 29,97), 50 и т.д.

Как это всё синхронизирует конкретная DAW - есть нюансы. Я в своём рипере просто не замечаю, все прозрачно, где-то надо менять ЧД аудио и выставлять частоту кадров картинки в свойствах проекта.
 
  • Like
Реакции: Lsw

fakeitback

Super Moderator
Команда форума
6 Май 2005
14.408
15.302
113
42
Москва
Samples и frames в данном случае синонимы и в литературу употребляются оба варианта)
 

dugdum®

Active Member
12 Янв 2005
4.447
2.563
113
Москва, ЮАО
@inde у звуковой дорожки своя частота, у видеодорожки своя частота кадров. Они могут сочетаться в любых пропорциях. Тут как раз проблемы нет.
 

Lsw

Member
29 Июл 2012
180
21
18
я думаю, что это как раз вообще не влияет.
а что пояснять? как может влиять частота проекта на рассинхрон? он в данном случае от другого происходит, от того, что DAW не может
точно определить позицию по времени в видеодорожке и показывает её вам в процессе работы немного "рандомно".
Для видео стандарт ЗВУКА - 48000 кадров в секунду. А ВИДЕО кадров в секунду может быть уложено по разному, как выше написали, 24, 25, 30 (точнее, 29,97), 50 и т.д.

Как это всё синхронизирует конкретная DAW - есть нюансы. Я в своём рипере просто не замечаю, все прозрачно, где-то надо менять ЧД аудио и выставлять частоту кадров картинки в свойствах проекта.
Подытожу. Раньше в других DAW (кубейс) я встречался с такой проблемой, что когда в проект с частотой 44100 добавляешь сэмпл с частотой 48000, DAW у меня спрашивал, конвертировать ли сэмпл в частоту 44100, если я говорил "нет", то сэмпл немного растягивался и питч соответственно падал. Сейчас, когда я добавлял аудиодорожку из присланного видео с ЧД 48000, Bitwig у меня ничего не спрашивает, можно предположить, что для корректного воспроизведения дорожка автоматически конвертируется в 44100 под проект. Я делаю музыку с ЧД 44100, высылаю заказчику, он вставляет её в свой проект с ЧД 48000, который видимо тоже ничего не спрашивает и не конвертирует и тут и появляется рассинхрон. Согласны?
 

dugdum®

Active Member
12 Янв 2005
4.447
2.563
113
Москва, ЮАО
нет. ресемплинг аудио в проекте не дает рассинхрона. дело в том, что ваша звуковая дорожка изначально сделана с неправильным таймингом из-за того, что DAW вас обманул, криво показывая видео, когда вы эту звуковую дорожку делали. скорее всего так.
 
Последнее редактирование:

Lsw

Member
29 Июл 2012
180
21
18
нет. ресемплинг аудио в проекте не дает рассинхрона. дело в том, что ваша звуковая дорожка изначально сделана с неправильным таймингом из-за того, что DAW вас обманул, криво показывая видео, когда вы эту звуковую дорожку делали. скорее всего так.
Тайминг - это начало какого либо объекта в монтажной ленте так ведь? Так у меня же был только один объект, видео и больше ничего. Или есть ещё какие-то тайминги?
 

Dozer1

Active Member
9 Апр 2011
333
101
43
Беларусь Гомель
DAW вас обманул, криво показывая видео, когда вы эту звуковую дорожку делали
Вы уверены, что @Lsw, когда делал свою версию, синхронизировался только по видео? Ведь в его распоряжении были и аудио файлы.
 

Сейчас онлайн (Пользователей: 0, Гостей: 1)