Клонування голосу ШІ та ліпсинк для креативів: як це працює

Два інструменти змінили виробництво відеокреативів найсильніше: клонування голосу та ліпсинк. Перший прибирає диктора і студію звукозапису, другий — зйомку. Разом вони дозволяють зробити ролик, у якому жива людина говорить будь-який текст будь-якою мовою, з одного фото і десяти секунд запису.

Розберемо, як працюють клонування голосу ШІ й синхронізація губ, що впливає на якість і скільки коштує хвилина такого відео.

Клонування голосу: як нейромережа вчиться тембру

Клон голосу — це модель синтезу мовлення, якій показали зразок і попросили говорити «так само». Сучасним моделям вистачає 10 секунд чистої мови: вони не «запам'ятовують» слова, а витягують характеристики — тембр, висоту, темп, манеру, дихання — і відтворюють їх на новому тексті.

Що відбувається всередині:

1. Розшифровка зразка. Сервіс розпізнає, що сказано в записі, і пов'язує звук із текстом — так модель розуміє, як цей голос вимовляє конкретні звуки.
2. Витягування голосового «відбитка». Із запису виділяється компактний опис голосу, незалежний від тексту.
3. Синтез. Новий текст озвучується з цим відбитком — це і є озвучка тексту ШІ: інтонація будується за розділовими знаками та змістом фрази.

Клон уміє говорити мовами, яких не було у зразку: український голос без проблем читає англійський або іспанський текст, зберігаючи тембр. Акцент при цьому успадковується від оригіналу — для локальних гео краще брати зразок носія.

Що робить клон якісним

• Чистий зразок. Без музики, реверберації та другого голосу. Голосове повідомлення з телефона в тихій кімнаті краще за студійний запис з ефектами.
• Природна мова. Зразок «як у розмові», а не читання з папірця, — інакше клон читатиме.
• Короткі репліки. Модель тримає інтонацію на одне-два речення; довгий абзац краще розбити.
• Керування наголосами й паузами. В іменах і рідкісних словах наголос ставиться вручну; паузи — розділовими знаками. Хороший сервіс веде базу проблемних слів і підставляє позначки сам.

Голос за описом

Коли зразка немає або не можна використовувати чужий голос, голос проєктують: задаєте стать, вік, тембр, настрій — і отримуєте унікальний голос, не прив'язаний до реальної людини. Для брендів це ще й юридично чистий варіант: ніхто не прийде з претензією, що «це мій голос».

Ліпсинк: губи в кожне слово

Ліпсинк (lip sync, синхронізація губ) — це генерація рухів рота й міміки під конкретну звукову доріжку. На вході — фото або відео персонажа та аудіо, на виході — відео, де персонаж промовляє саме цей текст.

Є два підходи:

• Ліпсинк на відео. Є готовий ролик зі спікером, треба замінити мову: нейромережа перемальовує ділянку рота під нову доріжку, решта кадру залишається оригінальною. Так перекладають і переозвучують готові відео.
• Генерація з фото. Є лише фотографія: модель створює відео цілком — рухи голови, міміку, моргання, жести — і синхронізує губи з озвучкою. Це те, що зазвичай називають «головою, що говорить» або «оживити фото», але сучасні моделі змінюють плани й ракурси, ніби ролик знімали кілька камер.

Що відрізняє хороший ліпсинк від «маски»

• Приголосні читаються. «П», «Б», «М» вимагають змикання губ; якщо рот відкритий на цих звуках — глядач відчуває фальш, навіть не розуміючи чому.
• Міміка пов'язана з мовою. Брови, щоки, нахил голови рухаються в такт інтонації, а не живуть окремо.
• Природні паузи. Між репліками рот закривається, поза не «стрибає».
• Стабільне обличчя. Риси не змінюються від сцени до сцени; на великих планах шкіра й зуби деталізовані.

Різні моделі по-різному балансують швидкість і деталізацію, тому в студії VSL·TOOLS три рівні: Lite — швидко й дешево для тестів, Standard — природні жести та міміка, Pro — максимальна деталізація обличчя для великих планів. Сервіс уміє обирати модель сам за довжиною фрагментів ролика.

Як зв'язка «клон + ліпсинк» збирається в креатив

1. Текст розбивається на репліки.
2. Кожна репліка озвучується клоном — окремим файлом, щоб перегенерувати фразу, а не ролик.
3. Персонаж із фото промовляє репліки; сцени змінюються між репліками.
4. Титри вшиваються за розшифровкою слів.
5. Фінал склеюється в mp4 під платформу.

Правка ролика після цього — це правка тексту: змінили ціну в репліці — переозвучили одну фразу й перегенерували її секунди.

Скільки це коштує

На поточних тарифах: клон голосу — $0.06 за 1000 символів озвучки, проєктування голосу — $0.05 за голос, відео з персонажем із фото — від $0.60 за хвилину на Standard 640p і від $0.80 на Lite 480p, до $1.80 за хвилину на Pro. Оплата посекундна й без підписки: 20-секундний креатив коштує центи, трихвилинний VSL — кілька доларів.

Для порівняння: диктор бере від $20–50 за хвилину запису, а будь-яка правка тексту — нова сесія.

Юридичний бік

Клонувати можна лише голос, на використання якого є право: ваш власний, голос співробітника або актора за договором, голос клієнта з письмовою згодою. Те саме з обличчям на фото. Синтетичний контент із чужим обличчям або голосом без згоди заборонений правилами сервісу і законами більшості країн, а рекламні платформи за це банять акаунти. Безпечна альтернатива — голос за описом і обличчя моделі за ліцензією.

Типові проблеми та як їх вирішувати

Підсумок

Клон голосу та ліпсинк — це не «заміна актора», а інший спосіб виробництва: ролик стає текстом, який можна правити, перекладати й масштабувати. Якість залежить від трьох речей — чистого зразка, різкого фото та коротких реплік.

Спробувати клон і живого персонажа можна за хвилину: стартовий бонус покриває тестовий ролик.