Замена спикера и перевод готового видео нейросетью: как перезалить связку под новое гео

У каждой связки есть срок жизни: креатив выгорает, оффер меняет цену, гео закрывается. Раньше на этом месте ролик переснимали. Сейчас готовое видео можно редактировать как текст: заменить спикера, перевести на другой язык, переписать одну реплику — и перегенерировать только те секунды, которые реально изменились.

Разберём, как это работает на примере инструмента замены спикера в VSL·TOOLS, что он умеет и где границы.

Что умеет замена спикера

На вход — любой готовый ролик: реклама, обзор, отзыв, VSL. Не нужны исходники, проект монтажа или отдельные дорожки. Сервис разбирает видео целиком:

• находит персонажей в кадре — кто и когда говорит, где лицо на крупном плане, а где b-roll;
• расшифровывает речь с таймингом до слова — получается редактируемая транскрипция;
• разбивает речь на реплики по спикерам.

Анализ бесплатный. Дальше вы работаете с текстом и персонажами, а не с таймлайном.

Три сценария

1. Замена персонажа. Выберите спикера в кадре и подставьте нового: одно фото и 10 секунд голоса — новое лицо и новый голос. Монтаж, темп, планы и b-roll остаются оригинальными.
2. Перевод на другой язык. Реплики переводятся, озвучиваются клоном голоса оригинального спикера (или нового), губы подтягиваются под новый язык. Поддерживаются около 200 языков перевода.
3. Правка реплики. Перепишите фразу текстом — новое название товара, цена, призыв. Сервис переозвучит её и перегенерирует губы только в этой реплике.

Сценарии комбинируются: можно заменить спикера и одновременно перевести ролик.

Как это устроено внутри

Главный принцип — перегенерируется только изменённое. Всё, что не тронуто, идёт в финал из оригинала вместе с родным звуком.

• Реплика, которую вы переписали или перевели, становится новым фрагментом: озвучка клоном, липсинк персонажа, титры.
• Реплики, которые вы оставили, идут из исходника без перекодирования и потери качества.
• Паузы, b-roll и сцены без лица заменяемого спикера — тоже из оригинала.
• Там, где в паузе мелькает лицо старого спикера, кадр вырезается: показывать в нём нечего, а слышать — тем более (в паузе догорает старый голос).

Поэтому переделанный ролик держит темп и монтаж оригинала: зритель видит другого человека или слышит другой язык, но ритм видео не меняется.

Что происходит с лицом на b-roll

Если в кадре появляется другой заменяемый спикер (например, реверс на слушателя), такой кусок нельзя отдать из оригинала — там старое лицо. Сервис ставит на его место кадр с новым персонажем именно этого спикера, а не «ближайшего любого».

Пошагово

1. Загрузите ролик — mp4 до нескольких гигабайт, без исходников.
2. Дождитесь анализа — несколько минут: персонажи, транскрипция, реплики.
3. Решите, что менять. У каждого спикера две опции: «не менять» или «заменить на персонажа». Персонаж — фото + клон голоса или голос по описанию.
4. Отредактируйте текст. Перевод на нужный язык одной кнопкой, правки реплик — прямо в транскрипции. Реплики можно дописывать: новая фраза встанет в ролик отдельной сценой.
5. Озвучьте — по репликам, с перегенерацией любой фразы отдельно.
6. Сгенерируйте губы — только для изменённых реплик; блоки собираются автоматически.
7. Соберите финал — сервис сплайсит новые куски с оригиналом; на выходе mp4 с титрами, если они нужны.

Сколько стоит

Оплата — за секунды, которые реально переделаны: переписали одну реплику на 8 секунд из трёхминутного ролика — платите за 8 секунд видео и за символы озвучки. Полный перевод ролика с заменой спикера — это озвучка всего текста плюс липсинк только тех кадров, где спикер в кадре, а не всего хронометража. Актуальные цены — на странице тарифов; анализ загруженного видео бесплатен.

Для сравнения с пересъёмкой: локализация трёхминутного ролика под новое гео обходится в единицы долларов и занимает минуты — вместо новой смены с актёром.

Где границы

• Права. Заменять спикера и клонировать голос можно только там, где у вас есть права на исходный ролик и согласие людей, чьи лица и голоса используются. Чужой креатив, скачанный из spy-сервиса, — не ваш материал.
• Длина финала. При вырезании пауз с лицом старого спикера ролик может стать чуть короче оригинала — это осознанно: важнее чистая сборка, чем совпадение длины до секунды.
• Очень мелкие лица. Если лицо занимает несколько десятков пикселей, липсинк на нём бессмысленен — такие кадры лучше оставить как b-roll.
• Наложенная музыка. Речь отделяется от фона, но чем громче музыка в оригинале, тем сложнее чистый перевод; лучше иметь версию без музыки.

Типичные применения в перформанс-маркетинге

• Масштабирование на гео. Один победивший ролик → пять языков тем же голосом и лицом.
• Смена оффера. Тот же ролик, другой продукт и цена: переписаны две реплики.
• Обновление спикера. Актёр ушёл или выгорел — новое лицо, тот же монтаж.
• A/B-тест спикера. Один ролик, три персонажа — и ответ от трафика, кому верят больше.

Итог

Замена спикера и перевод готового видео превращают ролик в редактируемый документ: меняете текст, лицо или язык — перегенерируются только изменённые секунды, остальное остаётся оригиналом. Это самый дешёвый способ продлить жизнь связки и открыть новое гео без пересъёмки.

Загрузить ролик на анализ можно бесплатно — платить придётся только за секунды, которые вы решите переделать.