영상에서 여러 명의 얼굴을 로컬에서 바꾸는 방법

결론: 로컬 데스크톱 앱이 여러 명이 나오는 영상을 처리하는 방식은 두 가지입니다. 감지된 모든 얼굴에 같은 소스 얼굴을 적용하거나, 사람마다 각자의 소스 사진을 매핑하는 것입니다. 흔히 말하는 다중 얼굴 교체는 후자이며, 렌더링 전에 매핑을 확인하는 단계가 반드시 필요합니다.

얼굴이 하나뿐인 영상은 관대합니다. 찾을 얼굴도 하나, 추적할 인물도 하나, 조정할 블렌딩도 한 세트입니다. 여러 사람이 등장하면 이 셋이 모두 바뀝니다. 감지기는 프레임마다 여러 얼굴을 반환하고, 앱은 어떤 얼굴이 어떤 인물인지 판단해야 하며, 그 판단은 가림, 옆얼굴, 컷 전환을 견뎌야 합니다.

그래서 실제로 가장 많이 나오는 불만은 합성이 어색하다는 것이 아니라, 몇 프레임 동안 얼굴이 엉뚱한 사람에게 붙었다는 것입니다.

1. 다중 얼굴 교체라고 불리는 서로 다른 두 가지

설정을 건드리기 전에 원하는 결과를 분명히 하세요. Deep Face Cam은 이 둘을 Advanced options → Faces에 별개 항목으로 두었고, 설계상 동시에 쓸 수 없습니다.

항목	실제 동작	쓰는 상황
Swap all faces	감지된 모든 얼굴을 동일한 기본 소스 얼굴로 처리합니다.	한 사람의 얼굴을 여러 명에게 적용하거나, 정확도가 중요하지 않은 빠른 테스트.
Map faces manually	감지된 각 대상 얼굴에 개별 소스 얼굴을 지정합니다. 생성 전에 매핑 화면이 열리고 Swap all faces는 자동으로 꺼집니다.	두 명 이상에게 서로 다른 얼굴이 필요한, 진짜 다중 인물 상황.

가장 흔한 설정 실수가 여기입니다. “swap all faces”를 켜둔 채 인물별로 다른 결과를 기대하는 경우죠. 이 모드의 소스 얼굴은 하나뿐이고 모두에게 같은 얼굴을 적용합니다. A와 B에게 다른 얼굴을 주려면 수동 매핑이 필요합니다.

2. 인물마다 소스 사진을 한 장씩 준비합니다

매핑하는 인물마다 각자의 소스 이미지가 필요하고, 모두 단일 얼굴 교체와 같은 기준을 만족해야 합니다. 선명하고, 조명이 고르고, 정면에 가깝게. 첫 테스트에서는 선글라스, 머리카락 가림, 과장된 표정, 강한 보정 필터를 피하세요. 품질이 낮은 소스 사진은 여러 명 속에서 묻히지 않고, 그 한 사람만 유독 나빠 보이게 만듭니다.

소스 사진끼리는 외형이 확실히 구분되게 고르는 편이 안전합니다. 구도와 크롭, 조명이 비슷하면 매핑이 잘못돼도 결과 검토 단계에서 알아채기 어렵습니다.

대상은 완성본이 아니라 짧은 테스트 구간을 쓰세요. 좋은 테스트 구간에는 인물이 겹치는 순간, 각자의 옆얼굴, 컷 전환이 최소 한 번씩 들어갑니다.

3. 렌더링 전에 매핑을 확인합니다

수동 매핑을 켜면 앱이 대상을 분석한 뒤 생성 시작 전에 매핑 단계를 엽니다. 시간을 가장 많이 아껴 주는 확인 지점입니다. 여기서 필요한 대상 얼굴마다 소스가 지정되었는지, 그리고 짝이 의도한 대로인지 확인하세요. 화면에 얼굴이 보인다는 것만으로는 충분하지 않습니다.

이미지와 영상 대상에서는 대상 소재에서 찾아낸 얼굴을 바탕으로 매핑이 만들어지고, 영상은 어떤 얼굴이 어느 프레임에 속하는지도 함께 기록됩니다. 대표적인 구간에서 매핑을 확인할 가치가 있는 이유입니다. 매핑의 신뢰도는 감지의 신뢰도를 넘지 못합니다.

라이브 카메라는 다릅니다. 미리 분석할 파일이 없으므로 라이브 세션은 얼굴 임베딩으로 프레임마다 대조해 각 인물에 가장 가까운 후보를 고릅니다. 계속 이어지는 유사도 판단이며, 라이브 다중 인물 매핑이 매핑된 영상 파일보다 불안정한 이유도 여기에 있습니다. 인물별 결과가 확실해야 한다면 파일 작업을 쓰고 라이브는 미리보기로 다루세요. 자세한 내용은 실시간 얼굴 교체 가이드에 있습니다.

4. 얼굴이 뒤바뀌는 이유

다중 인물 처리에서 가장 많이 보고되는 실패는 몇 프레임 동안 얼굴이 다른 사람에게 붙는 현상입니다. 무작위가 아닙니다. 배정은 감지와 유사도에 의존하므로 예측 가능한 상황에서 약해집니다.

• 교차: 두 사람이 겹치면서 한쪽 얼굴이 일부 가려져 감지가 잠시 더 적거나 어긋난 얼굴을 반환합니다.
• 옆얼굴: 정면에서 크게 벗어난 얼굴은 옆 사람보다 대조 점수가 약해집니다.
• 재등장: 화면 밖으로 나갔다 돌아온 사람이 이전과 같은 배정을 받는다는 보장은 없습니다.
• 비슷한 외모: 나이, 머리 모양, 안경, 조명이 비슷하면 두 인물의 차이가 좁아집니다.
• 컷 전환: 장면이 바뀌면 새 숏은 독립적으로 대조됩니다.
• 거리: 배경의 작은 얼굴은 전경 클로즈업보다 대조할 정보가 훨씬 적습니다.

시도할 가치가 있는 순서대로: 컷 경계에서 클립을 나눠 숏 단위로 처리하고, 실제로 바꿀 필요가 없는 배경 얼굴은 매핑하지 않고, 인물이 재등장한 뒤에는 매핑을 다시 확인하고, 외형이 뚜렷하게 다른 소스 사진을 써서 실수가 바로 보이게 하는 것입니다.

5. 다중 얼굴 렌더링 비용은 대체로 얼굴 수에 비례합니다

매핑된 얼굴이 넷인 프레임은 하나인 프레임과 같은 작업량이 아닙니다. 소스와 대상의 각 쌍이 개별적으로 교체 모델을 통과한 뒤 순서대로 프레임에 합성되므로, 한 프레임의 처리 시간은 그 프레임에서 바꾸는 얼굴 수를 따라 늘어납니다. 해상도만으로 정해지지 않습니다.

얼굴 보정을 켜면 영향이 겹칩니다. 보정도 얼굴 단위로 실행되기 때문입니다. 네 명이 나오는 숏에서 HD repair를 켜면 프레임마다 네 번의 교체 위에 네 번의 보정이 더해집니다. 다중 얼굴 렌더링이 예상보다 훨씬 느리다면 교체보다 보정 설정을 먼저 확인하세요.

요인	다중 얼굴 렌더링에 미치는 영향	대응
프레임당 얼굴 수	교체 작업량이 거의 선형으로 증가합니다.	실제로 바꿔야 하는 인물만 매핑합니다.
얼굴 보정	교체와 별개로 얼굴마다 한 번씩 실행됩니다.	먼저 보정을 끄고 테스트한 뒤 다시 켭니다.
Execution provider	CPU가 가장 느리고 GPU 백엔드는 플랫폼마다 다릅니다.	기기에 맞는 빌드를 고르세요. 보정 가이드 참고.
클립 길이	늦게 발견한 실수는 렌더링 전체를 낭비합니다.	항상 짧은 구간에서 먼저 검증합니다.
임시 프레임	영상 처리는 디스크에 펼친 프레임을 거칩니다.	여유 공간을 확보하고 전용 출력 폴더를 씁니다.

얼굴 수에 따른 렌더링 비용

감지는 프레임당 한 번, 교체와 보정은 얼굴마다 한 번씩 실행됩니다. 계산은 단순하며, 다중 인물 렌더링 시간의 대부분은 해상도가 아니라 이 계산으로 설명됩니다.

프레임 내 매핑된 얼굴	감지	교체 횟수	보정 횟수(켠 경우)	프레임당 모델 추론	교체 + 보정 작업량
1	1×	1	1	3	1.0×
2	1×	2	2	5	2.0×
3	1×	3	3	7	3.0×
4	1×	4	4	9	4.0×
6	1×	6	6	13	6.0×

마지막 열은 교체와 보정만 계산합니다. 감지는 얼굴 단위가 아니라 프레임 단위로 발생하기 때문입니다. 실제 소요 시간은 여기에 더해 execution provider, 캡처 또는 원본 해상도, 선택한 보정 모델에 따라 달라집니다.

6. 결과물은 품질이 아니라 배정을 기준으로 검토합니다

단일 얼굴 검토는 “이게 맞아 보이나”를 묻습니다. 다중 얼굴 검토는 “모든 숏에서 올바른 얼굴이 올바른 사람에게 붙어 있나”를 묻습니다. 서로 다른 두 번의 검토입니다.

결과물은 인물이 교차하는 지점, 각 컷 전환, 누군가 들어오고 나가는 지점을 특정해서 확인하세요. 먼저 정상 속도로 재생합니다. 1초 남짓한 신원 뒤바뀜은 프레임 단위로 보면 놓치기 쉽고 정상 재생에서는 바로 드러납니다. 블렌딩 품질은 그다음에 따로 봅니다.

테스트 결과물, 사용한 매핑, 앱 버전, 모델 버전을 프로젝트 메모에 남기세요. 나중에 수정할 일이 생기면 그 기록이 추측을 재현으로 바꿔 줍니다.

다중 얼굴 작업에서 흔한 실수

• 인물마다 다른 소스가 필요한데 “swap all faces”를 쓰는 것.
• 테스트 구간에서 매핑을 확인하기 전에 전체 클립을 렌더링하는 것.
• 바꿀 필요가 없는 배경 인물까지 감지된 얼굴을 전부 매핑하는 것.
• 거의 똑같은 소스 사진 두 장을 써서 배정 오류가 가려지는 것.
• 여러 컷으로 편집된 소재를 숏 단위가 아니라 한 파일로 처리하는 것.
• 프레임 단위로만 확인하다 짧은 신원 뒤바뀜을 놓치는 것.
• 여러 명 중 한 사람의 동의를 전체 동의로 간주하는 것.

자주 묻는 질문

한 영상에서 서로 다른 두 얼굴로 바꿀 수 있나요?

가능합니다. 수동 매핑이 바로 그 기능입니다. 감지된 각 대상 얼굴에 개별 소스 사진을 지정하므로 같은 숏의 두 사람이 서로 다른 얼굴을 받을 수 있습니다. “swap all faces”는 기본 소스 하나를 모두에게 적용하므로 이 용도에는 쓸 수 없습니다.

한 번에 몇 명까지 바꿀 수 있나요?

매핑은 대상에서 감지된 얼굴로 만들어지므로 실질적인 한계는 고정된 인원수가 아니라 감지 품질과 처리 시간이 정합니다. 작게 잡힌 얼굴, 먼 얼굴, 많이 가려진 얼굴부터 불안정해집니다.

왜 얼굴이 엉뚱한 사람에게 붙나요?

배정이 감지와 유사도에 의존하는데, 교차·옆얼굴·재등장·컷 전환에서 둘 다 약해지기 때문입니다. 숏 단위로 나누고, 매핑하는 얼굴 수를 줄이고, 확실히 구분되는 소스 사진을 쓰세요.

다중 얼굴 교체에 GPU가 필요한가요?

CPU로도 동작하지만 작업량이 얼굴 수만큼 늘어나므로 차이가 가장 크게 드러나는 용도입니다. 실제 보유한 하드웨어에 맞춰 빌드와 execution provider를 고르세요.

라이브 카메라에서도 다중 얼굴 교체가 되나요?

라이브도 여러 명을 처리하지만, 미리 분석한 파일이 아니라 매 프레임 유사도로 대조하므로 매핑된 영상보다 배정이 불안정합니다. 미리보기 용도로 쓰세요.

관련 가이드

• PC와 Mac에서 영상 얼굴을 로컬로 바꾸는 방법
• GFPGAN과 GPEN, 어떤 얼굴 보정을 쓸까
• 로컬 PC의 실시간 얼굴 교체
• PC와 Mac용 로컬 얼굴 교체 프로그램
• 업로드 없이 GIF 얼굴을 로컬에서 바꾸는 방법
• Deep Face Cam 소스 저장소
• 책임 있는 사용