Как заменить несколько лиц в видео локально

Коротко: Локальное десктопное приложение обрабатывает групповое видео двумя способами: одно исходное лицо заменяет все найденные лица, либо каждому человеку сопоставляется собственный портрет-источник. Второй вариант и есть то, что обычно называют заменой нескольких лиц, и это сопоставление нужно проверять до рендера, а не после.

Видео с одним лицом прощает многое: одно лицо найти, одну личность вести, один набор параметров смешивания настроить. Групповой кадр меняет всё три пункта. Детектор возвращает несколько лиц на кадр, приложение должно решить, какое лицо какому человеку принадлежит, и это решение обязано пережить перекрытия, повороты в профиль и монтажные склейки.

Поэтому чаще всего жалуются не на плохое смешивание, а на то, что на несколько кадров лицо оказалось не на том человеке.

1. Два разных сценария, которые называют одинаково

Прежде чем трогать настройки, определитесь с результатом. В Deep Face Cam это два отдельных пункта в разделе Advanced options → Faces, и по замыслу они взаимоисключающие.

Настройка	Что делает на самом деле	Когда использовать
Swap all faces	Обрабатывает каждое найденное лицо одним и тем же исходным лицом по умолчанию.	Нужно наложить одну личность на всех сразу или сделать быструю пробу.
Map faces manually	Сопоставляет каждому найденному лицу собственное исходное лицо. Шаг сопоставления открывается до генерации и выключает Swap all faces.	Двум и более людям нужны разные лица — настоящий групповой случай.

Это самая частая ошибка настройки: включить «swap all faces» и ждать разного результата для разных людей. В этом режиме исходное лицо ровно одно, и оно применяется ко всем. Если человеку A нужно одно лицо, а человеку B другое, потребуется ручное сопоставление.

2. По одному исходному портрету на каждого

Каждой сопоставляемой личности нужен собственный исходный снимок, и все они должны отвечать тем же требованиям, что и при замене одного лица: резкость, ровный свет, положение близко к анфас, без тёмных очков, без волос поперёк лица и без агрессивных бьюти-фильтров в первом тесте. Слабый исходник не растворяется в группе — он просто делает одного человека в вашем видео заметно хуже остальных.

По возможности берите портреты, которые явно отличаются друг от друга. Если два источника похожи по кадрированию, крупности и свету, ошибку сопоставления будет гораздо труднее заметить при проверке экспорта.

В качестве цели выбирайте короткий тестовый фрагмент, а не финальный монтаж. Хороший фрагмент содержит хотя бы один момент, где люди перекрывают друг друга, по одному повороту в профиль на каждого и одну склейку.

3. Проверьте сопоставление до рендера

При включённом ручном сопоставлении приложение анализирует целевой материал и открывает шаг сопоставления до начала генерации. Это контрольная точка, которая экономит больше всего времени. Убедитесь, что каждому нужному лицу назначен источник и что пары именно те, которые вы имели в виду, — а не просто что на экране видны какие-то лица.

Для изображений и видео сопоставление строится по лицам, найденным в целевом материале, а для видео приложение ещё и отслеживает, какие лица относятся к каким кадрам. Поэтому сопоставление стоит проверять на репрезентативном фрагменте: оно не может быть надёжнее, чем детекция под ним.

Живая камера устроена иначе. Заранее анализировать нечего, поэтому в живом режиме лица сопоставляются покадрово через эмбеддинги, и для каждой сопоставленной личности выбирается ближайшее совпадение. Это непрерывное решение по схожести, и именно поэтому живое сопоставление нескольких людей менее стабильно, чем размеченный видеофайл. Если результат по каждому человеку важен, работайте через файл, а живой режим считайте предпросмотром. Подробности — в руководстве по замене лиц в реальном времени.

4. Почему лица меняются местами

Самый частый сбой при работе с несколькими лицами — лицо на несколько кадров оказывается не на том человеке. Это не случайность. Назначение опирается на детекцию и схожесть, поэтому оно предсказуемо слабеет в конкретных ситуациях:

• Пересечение: двое перекрывают друг друга, одно лицо частично скрыто, и детекция ненадолго возвращает меньше лиц или смещённые рамки.
• Поворот в профиль: лицо, сильно отклонённое от анфас, даёт более слабое совпадение, чем у соседа.
• Повторный вход в кадр: человек вышел и вернулся — ничто не гарантирует прежнее назначение.
• Похожая внешность: близкий возраст, причёска, очки или освещение сокращают разрыв между двумя личностями.
• Склейки: смена плана заменяет всю сцену, и новый план сопоставляется заново.
• Дистанция: маленькое лицо на заднем плане даёт куда меньше деталей для сопоставления, чем крупный план.

Практические меры в порядке полезности: режьте ролик по границам планов и обрабатывайте план за планом; не сопоставляйте фоновые лица, которые менять не нужно; перепроверяйте сопоставление после любого повторного входа в кадр; используйте визуально разные исходники, чтобы ошибка была видна сразу.

5. Рендер с несколькими лицами дороже примерно пропорционально их числу

Кадр с четырьмя сопоставленными лицами — это не та же работа, что кадр с одним. Каждая пара «источник — цель» проходит через модель замены отдельно и накладывается на кадр последовательно, поэтому время обработки кадра растёт вместе с числом заменяемых в нём лиц, а не только с разрешением видео.

Улучшение лица усиливает эффект, потому что оно тоже выполняется на каждое лицо. Включить HD repair в сцене с четырьмя людьми — значит добавить четыре прохода восстановления на кадр поверх четырёх замен. Если рендер с несколькими лицами идёт неожиданно медленно, проверять в первую очередь стоит настройку улучшения, а не саму замену.

Фактор	Влияние на рендер с несколькими лицами	Что делать
Число лиц в кадре	Работа замены растёт почти линейно.	Сопоставляйте только тех, кому замена действительно нужна.
Улучшение лица	Выполняется по разу на лицо, поверх замены.	Сначала протестируйте с выключенным улучшением.
Execution provider	CPU — самый медленный путь; GPU-бэкенды различаются по платформам.	Подберите сборку под машину — см. руководство по улучшению.
Длительность ролика	Ошибка, найденная поздно, стоит всего рендера.	Всегда проверяйте на коротком фрагменте.
Временные кадры	Обработка видео идёт через кадры, распакованные на диск.	Держите свободное место и отдельную папку вывода.

Стоимость рендера в зависимости от числа лиц

Детекция выполняется один раз на кадр, а замена и улучшение — по одному разу на каждое лицо. Арифметика простая, и именно она, а не разрешение, объясняет большую часть времени рендера с несколькими людьми.

Сопоставленных лиц в кадре	Детекция	Проходов замены	Проходов улучшения (если включено)	Инференсов на кадр	Работа замены + восстановления
1	1×	1	1	3	1.0×
2	1×	2	2	5	2.0×
3	1×	3	3	7	3.0×
4	1×	4	4	9	4.0×
6	1×	6	6	13	6.0×

Последний столбец учитывает только замену и улучшение, потому что детекция считается на кадр, а не на лицо. Фактическое время сверх этого зависит от execution provider, разрешения захвата или исходника и выбранной модели улучшения.

6. Проверяйте экспорт по назначению, а не только по качеству

Проверка одного лица спрашивает: «выглядит ли это правильно?». Проверка нескольких лиц спрашивает: «то ли лицо на том ли человеке во всех планах?». Это два разных прохода.

Просматривайте экспорт целенаправленно в местах пересечений, на каждой склейке и там, где кто-то входит в кадр или выходит из него. Сначала на обычной скорости: подмена личности длиной в секунду часто незаметна покадрово и очевидна при воспроизведении. Качество смешивания оценивайте отдельно.

Сохраняйте тестовый экспорт, использованное сопоставление, версию приложения и версии моделей в заметках проекта. Если позже понадобится правка, эта запись превращает догадки в повтор.

Частые ошибки при работе с несколькими лицами

• Использовать «swap all faces», когда каждому нужен свой источник.
• Рендерить весь ролик до проверки сопоставления на тестовом фрагменте.
• Сопоставлять все найденные лица, включая фоновую массовку.
• Брать два почти одинаковых исходника, из-за чего ошибки назначения не видны.
• Обрабатывать многоплановый монтаж одним файлом вместо разбивки по планам.
• Проверять покадрово и пропустить короткую подмену личности.
• Получить согласие одного человека из группы и считать, что оно покрывает всех.

Частые вопросы

Можно ли заменить два разных лица в одном видео?

Да, для этого и нужно ручное сопоставление: каждому найденному лицу назначается собственный портрет-источник, поэтому два человека в одном плане могут получить разные лица. Переключатель «swap all faces» так не умеет — он применяет один источник ко всем.

Сколько лиц можно заменить одновременно?

Сопоставление строится по лицам, найденным детектором в вашем материале, поэтому практический предел задают качество детекции и время обработки, а не фиксированное число. Первыми становятся ненадёжными мелкие, удалённые и сильно перекрытые лица.

Почему лицо оказывается не на том человеке?

Потому что назначение зависит от детекции и схожести, а обе слабеют при пересечениях, поворотах в профиль, повторном входе в кадр и склейках. Делите ролик по планам, сопоставляйте меньше лиц и берите заметно разные исходники.

Нужна ли видеокарта для замены нескольких лиц?

Путь через CPU работает, но именно здесь разница заметнее всего, поскольку стоимость умножается на число лиц в кадре. Подбирайте сборку и execution provider под реальное железо.

Работает ли замена нескольких лиц на живой камере?

Живой сеанс справляется с несколькими людьми, но сопоставляет их непрерывно по схожести, а не по заранее разобранному файлу, поэтому назначение менее стабильно. Используйте это как предпросмотр.

Связанные руководства

• Как заменить лицо в видео локально на ПК или Mac
• GFPGAN и GPEN: какое улучшение лица выбрать
• Замена лиц в реальном времени на локальном ПК
• Локальные программы замены лиц для ПК и Mac
• Как заменить лицо в GIF локально, не загружая его
• Репозиторий Deep Face Cam
• Ответственное использование