Заміна спікера та переклад відео ШІ: нове гео без перезйомки

У кожної зв'язки є термін життя: креатив вигоряє, оффер змінює ціну, гео закривається. Раніше на цьому місці ролик перезнімали. Тепер готове відео можна редагувати як текст: зробити заміну обличчя у відео (підставити іншого спікера), перекласти його іншою мовою, переписати одну репліку — і перегенерувати лише ті секунди, які реально змінилися.

Розберемо, як працюють переклад відео ШІ і переозвучка, на прикладі інструмента заміни спікера у VSL·TOOLS: що він уміє і де межі.

Що вміє заміна спікера

На вході — будь-який готовий ролик: реклама, огляд, відгук, VSL. Не потрібні вихідники, проєкт монтажу чи окремі доріжки. Сервіс розбирає відео цілком:

• знаходить персонажів у кадрі — хто й коли говорить, де обличчя на великому плані, а де b-roll;
• розшифровує мову з таймінгом до слова — виходить редагована транскрипція;
• розбиває мову на репліки за спікерами.

Аналіз безкоштовний. Далі ви працюєте з текстом і персонажами, а не з таймлайном.

Три сценарії

1. Заміна персонажа. Оберіть спікера в кадрі й підставте нового: одне фото і 10 секунд голосу — нове обличчя й новий голос. Монтаж, темп, плани та b-roll залишаються оригінальними.
2. Переклад іншою мовою. Репліки перекладаються, озвучуються клоном голосу оригінального спікера (або нового), губи підтягуються під нову мову — по суті, дубляж відео нейромережею. Підтримується близько 200 мов перекладу.
3. Правка репліки. Перепишіть фразу текстом — нова назва товару, ціна, заклик. Сервіс переозвучить її і перегенерує губи лише в цій репліці.

Сценарії комбінуються: можна замінити спікера й водночас перекласти ролик.

Як це влаштовано всередині

Головний принцип — перегенерується лише змінене. Усе, чого не торкалися, іде у фінал з оригіналу разом із рідним звуком.

• Репліка, яку ви переписали або переклали, стає новим фрагментом: озвучка клоном, ліпсинк персонажа, титри.
• Репліки, які ви залишили, ідуть із вихідника без перекодування і втрати якості.
• Паузи, b-roll і сцени без обличчя спікера, якого замінюють, — теж з оригіналу.
• Там, де в паузі промайне обличчя старого спікера, кадр вирізається: показувати в ньому нічого, а слухати — тим паче (у паузі догоряє старий голос).

Тому перероблений ролик тримає темп і монтаж оригіналу: глядач бачить іншу людину або чує іншу мову, але ритм відео не змінюється.

Що відбувається з обличчям на b-roll

Якщо в кадрі з'являється інший спікер, якого замінюють (наприклад, реверс на слухача), такий фрагмент не можна віддати з оригіналу — там старе обличчя. Сервіс ставить на його місце кадр із новим персонажем саме цього спікера, а не «найближчого будь-якого».

Покроково

1. Завантажте ролик — mp4 до кількох гігабайт, без вихідників.
2. Дочекайтеся аналізу — кілька хвилин: персонажі, транскрипція, репліки.
3. Вирішіть, що міняти. У кожного спікера дві опції: «не змінювати» або «замінити на персонажа». Персонаж — фото + клон голосу або голос за описом.
4. Відредагуйте текст. Переклад потрібною мовою однією кнопкою, правки реплік — прямо в транскрипції. Репліки можна дописувати: нова фраза стане в ролик окремою сценою.
5. Озвучте — репліка за реплікою, з перегенерацією будь-якої фрази окремо.
6. Згенеруйте губи — лише для змінених реплік; блоки збираються автоматично.
7. Зберіть фінал — сервіс зшиває нові фрагменти з оригіналом; на виході mp4 з титрами, якщо вони потрібні.

Скільки коштує

Оплата — за секунди, які реально перероблено: переписали одну репліку на 8 секунд із трихвилинного ролика — платите за 8 секунд відео та за символи озвучки. Повний переклад ролика із заміною спікера — це озвучка всього тексту плюс ліпсинк лише тих кадрів, де спікер у кадрі, а не всього хронометражу. Актуальні ціни — на сторінці тарифів; аналіз завантаженого відео безкоштовний.

Для порівняння з перезйомкою: локалізація трихвилинного ролика під нове гео обходиться в лічені долари й займає хвилини — замість нової зміни з актором.

Де межі

• Права. Замінювати спікера і клонувати голос можна лише там, де у вас є права на вихідний ролик і згода людей, чиї обличчя та голоси використовуються. Чужий креатив, завантажений зі spy-сервісу, — не ваш матеріал.
• Тривалість фіналу. Коли вирізаються паузи з обличчям старого спікера, ролик може стати трохи коротшим за оригінал — це свідомо: важливіша чиста збірка, ніж збіг тривалості до секунди.
• Дуже дрібні обличчя. Якщо обличчя займає кілька десятків пікселів, ліпсинк на ньому безглуздий — такі кадри краще залишити як b-roll.
• Накладена музика. Мова відділяється від фону, але що гучніша музика в оригіналі, то складніший чистий переклад; краще мати версію без музики.

Типові застосування в перформанс-маркетингу

• Масштабування на гео. Один ролик-переможець → п'ять мов: переозвучка відео тим самим голосом і обличчям.
• Зміна оффера. Той самий ролик, інший продукт і ціна: переписано дві репліки.
• Оновлення спікера. Актор пішов або вигорів — нове обличчя, той самий монтаж.
• A/B-тест спікера. Один ролик, три персонажі — і відповідь від трафіку, кому вірять більше.

Підсумок

Заміна спікера і переклад готового відео перетворюють ролик на редагований документ: змінюєте текст, обличчя або мову — перегенеруються лише змінені секунди, решта залишається оригіналом. Це найдешевший спосіб продовжити життя зв'язки й відкрити нове гео без перезйомки.

Завантажити ролик на аналіз можна безкоштовно — платити доведеться лише за секунди, які ви вирішите переробити.