GFPGAN과 GPEN, 어떤 얼굴 보정을 써야 할까?
둘 다 교체 이후에 동작하는 얼굴 복원 모델이지 교체 모델 자체가 아닙니다. 선택은 화면에서 얼굴이 얼마나 큰지, 소재가 얼마나 손상됐는지, 그리고 파일을 내보내는지 라이브 미리보기를 보는지에 달려 있습니다.
결론: 내보내는 이미지와 영상에는 GPEN-512가 합리적인 기본값입니다. 라이브 미리보기와 사양이 낮은 기기에는 가벼운 GPEN-256이 맞습니다. 심하게 손상됐거나 저해상도인 얼굴은 GFPGAN이 가장 많이 복원하지만 매끈하고 부자연스러워지기 쉽습니다. 얼굴이 화면에서 작고 소재가 이미 깨끗하다면 끄는 쪽이 여전히 정답입니다.
얼굴 교체와 얼굴 보정은 서로 다른 일을 하는 서로 다른 모델이며, 이 둘을 혼동하는 데서 실망의 대부분이 나옵니다.
보정으로 고칠 수 없는 것
보정은 교체 이후 얼굴 영역에 실행됩니다. 소스가 엉뚱한 사람에게 매핑된 문제, 정렬 오차, 프레임 사이에서 튀는 추적은 보정으로 고쳐지지 않습니다. 불안정한 소재에서는 프레임마다 따로 선명해지기 때문에 강한 보정이 오히려 불안정함을 더 드러냅니다. 매핑과 정렬을 먼저 해결하세요. 다중 얼굴 가이드 참고.
1. 얼굴 보정이 실제로 하는 일
Deep Face Cam의 교체 모델은 INSwapper 128이고, 출력되는 얼굴은 128×128 픽셀입니다. 이 패치를 대상 프레임에 변형해 되돌려 붙입니다. 얼굴이 작게 잡히는 넓은 숏에서는 128픽셀로 충분하지만, 1080p나 4K 클로즈업에서는 부족합니다. 교체된 얼굴이 확대되고 있는 상태라 피부 질감이 사라진 것처럼 보입니다.
보정의 역할은 그 얼굴 영역을 나중에 복원하는 것입니다. 얼굴을 잘라 정렬하고 복원 모델을 통과시킨 뒤, 경계가 보이지 않도록 가장자리를 부드럽게 처리해 프레임에 되돌립니다. GFPGAN과 GPEN은 그 단계에 쓰는 서로 다른 복원 모델입니다.
2. 앱의 네 가지 선택지
Deep Face Cam은 보정을 여러 스위치가 아니라 Advanced options의 단일 선택으로 제공합니다. 하나만 고릅니다.
| 설정 | 모델 | 다운로드 용량 | 성격 |
|---|---|---|---|
| Off | — | — | 가장 빠릅니다. 추가 복원 없이 교체 결과를 그대로 둡니다. |
| Fast repair | GPEN-BFR-256 | 약 76MB | 라이브 미리보기나 저사양 기기를 위한 가벼운 복원. |
| HD repair | GPEN-BFR-512 | 약 284MB | 영상과 이미지에서 얼굴 디테일이 좋아지고 FPS 부담은 커집니다. |
| Strong repair | GFPGAN(1024) | 약 366MB | 흐릿하거나 저해상도인 얼굴에 가장 강한 복원. 다만 매끈하고 부자연스러울 수 있습니다. |
모델 이름의 숫자는 처리 해상도, 즉 모델이 다루는 정렬된 얼굴 크롭의 크기입니다. 비교의 핵심이 여기 있습니다. GPEN-256은 256픽셀 얼굴을, GPEN-512는 그 네 배 면적을 다루고, 함께 제공되는 GFPGAN 모델은 1024를 목표로 합니다. 처리 해상도가 클수록 복원 가능한 디테일이 늘고 얼굴당 계산량도 늘어납니다.
이 모델들은 소스 저장소에 포함되지 않습니다. 확인 후 필요한 것만 사용자 모델 디렉터리로 내려받고, 사용 전에 공개된 SHA-256 체크섬으로 검증합니다. 오프라인으로 작업할 계획이라면 쓸 보정 모델을 미리 받아 두세요.
모델 용량, 처리 해상도, 디스크 사용량
| 설정 | 모델 파일 | 처리 해상도 | 픽셀 면적 | GPEN-256 대비 | 다운로드 |
|---|---|---|---|---|---|
| Off | — | — | — | — | — |
| Fast repair | GPEN-BFR-256.onnx | 256 × 256 | 65,536 px | 1× | 76 MB |
| HD repair | GPEN-BFR-512.onnx | 512 × 512 | 262,144 px | 4× | 284 MB |
| Strong repair | gfpgan-1024.onnx | 1024 × 1024 | 1,048,576 px | 16× | 366 MB |
기준으로 삼자면 교체 모델의 출력은 128 × 128, 즉 16,384픽셀입니다. HD repair는 그 16배, Strong repair는 64배의 픽셀 면적에서 얼굴을 재구성합니다. 보정이 원경보다 클로즈업에서 더 중요한 이유가 바로 이것입니다.
| 다운로드 구성 | 파일 | 용량 |
|---|---|---|
| 실행에 필수 | inswapper_128.onnx + buffalo_l.zip | 843 MB |
| 선택 교체 모델 | inswapper_128_fp16.onnx | 278 MB |
| 보정 모델 3종 전체 | GPEN-256 + GPEN-512 + GFPGAN | 726 MB |
| 전체 | 6 | ≈ 1.85 GB |
용량은 모델 매니페스트에 공개된 값입니다. 각 파일은 다운로드 후 체크섬으로 검증되며 사용자 모델 디렉터리에 저장됩니다. Apple 실리콘에서는 CoreML 캐시 파일이 추가로 생성됩니다.
3. 상황별 선택
쓸모 있는 질문은 “어떤 모델이 최고인가”가 아니라 “얼굴이 몇 픽셀을 차지하는가, 원본이 얼마나 나쁜가”입니다. 이 두 답이 모델을 정해 줍니다.
| 상황 | 먼저 시도할 설정 | 이유 |
|---|---|---|
| 인물 사진, 얼굴이 화면을 채움 | HD repair(GPEN-512) | 큰 얼굴에 충분한 처리 해상도이면서 최강 모델만큼 과하게 매끈해지지 않습니다. |
| 1080p 토킹헤드 영상 | HD repair(GPEN-512) | 디테일과 프레임당 비용의 균형이 가장 좋습니다. |
| 넓은 숏, 작은 얼굴 | Off 또는 Fast repair | 교체 패치 크기가 화면 속 얼굴과 이미 비슷해, 보정은 주로 시간만 늘립니다. |
| 오래되거나 압축이 심하거나 저해상도인 소재 | Strong repair(GFPGAN) | 가장 공격적인 복원이며, 손상이 큰 입력에 필요한 것이 바로 그것입니다. |
| 라이브 웹캠 미리보기 | Fast repair(GPEN-256), 사용 가능한 경우 | 가장 작은 모델이라 지연이 적습니다. 아래 실행 환경 조건을 확인하세요. |
| 여러 명이 나오는 숏 | 먼저 Off, 이후 단계적으로 | 보정이 얼굴 단위로 실행되어 인원수만큼 비용이 늘어납니다. |
4. 설정 화면에 적혀 있지 않은 절충
디테일과 본인다움. 복원 모델은 그럴듯한 얼굴 디테일을 재구성합니다. 복원이 강할수록 모델이 생각하는 얼굴다움의 영향이 커집니다. 손상이 큰 입력에서는 바로 그것이 필요하지만, 이미 괜찮은 얼굴에서는 피부 질감과 미세 표정이 조용히 바뀝니다. 결과는 더 깨끗해지고 본인다움은 조금 옅어집니다. Strong repair가 이 위험이 가장 큽니다.
과도한 매끈함. 공격적인 복원에 대한 가장 흔한 불만은 밀랍 같은 질감입니다. 피부 결이 사라지고 잔수염이 지워지며 주름이 눌립니다. 주변에 비해 “너무 깨끗해” 보이면 샤프닝으로 덮지 말고 모델을 한 단계 낮추세요.
얼굴과 배경의 불일치. 보정은 얼굴 영역에만 적용됩니다. 화질이 낮은 소재에서 얼굴만 강하게 복원되면, 얼굴만 떼어 보면 좋아도 화면 전체로는 가짜처럼 읽힙니다. 잘라낸 얼굴이 아니라 프레임 전체로 판단하세요.
시간축 일관성. 영상에서는 프레임마다 따로 보정됩니다. 프레임 사이의 작은 차이는 피부의 일렁임이나 얼굴 경계의 깜빡임으로 나타나며, 원래도 어려운 프레임에서 가장 잘 보입니다.
비용은 프레임이 아니라 얼굴 단위. 보정은 감지된 얼굴마다 한 번씩 실행됩니다. 한 프레임에 네 명이면 네 번의 교체 위에 네 번의 보정이 얹힙니다. 다중 인물 렌더링이 예상보다 훨씬 오래 걸리는 가장 큰 이유입니다.
5. 라이브 미리보기에는 명확한 실행 환경 조건이 있습니다
실무에서 가장 많이 놀라는 지점입니다. Deep Face Cam에서 라이브 중 얼굴 복원은 실행 환경이 CUDA 또는 DirectML을 쓸 때 활성화됩니다. 다른 execution provider에서 동작할 때 라이브 파이프라인은 얼굴 교체만 실행하고, 앱이 옵션 패널에 그 사실을 표시합니다.
이미지와 영상 생성은 영향을 받지 않습니다. 그 환경에서도 내보내기에는 어떤 보정 모델이든 쓸 수 있습니다. 보정 단계가 빠지는 것은 라이브 카메라 경로에 한정됩니다. 라이브 화질이 우선이라면 이 조건이 어떤 빌드를 설치할지를 좌우합니다. 실시간 얼굴 교체 가이드를 참고하세요.
백엔드의 provider 우선순위는 CUDA, ROCm, CoreML, DirectML, CPU 순입니다. Apple 실리콘에서는 ONNX Runtime의 CoreML provider를 사용합니다. 내보내기에는 좋은 경로지만 위의 라이브 보정 조건은 충족하지 않습니다.
6. 10분 만에 직접 검증하는 방법
모델 비교는 자신의 소재와 하드웨어에서 해야 의미가 있습니다. 재현 가능한 테스트는 짧습니다.
- 클로즈업, 넓은 숏, 화질이 확실히 나쁜 소재를 하나씩 준비합니다.
- 다른 설정은 그대로 두고 각각 Off·Fast·HD·Strong으로 네 번 내보냅니다.
- 잘라낸 얼굴이 아니라 프레임 전체를 100%로 비교합니다.
- 각 회차의 실제 소요 시간과 기기 사양, execution provider를 기록합니다.
- 라이브에서는 Show FPS를 켜고 보정 켬·끔의 프레임레이트를 기록합니다.
- 과도한 매끈함, 경계 깜빡임, 얼굴과 배경의 질감 차이를 중점적으로 확인합니다.
이 표를 프로젝트 메모에 남겨 두세요. 보정 비용은 provider, 해상도, 프레임 속 얼굴 수에 좌우되므로 일반적인 벤치마크보다 훨씬 값어치가 있습니다.
자주 묻는 질문
GFPGAN이 GPEN보다 나은가요?
어느 쪽이 항상 낫지는 않습니다. GFPGAN은 가장 강한 복원이라 손상이 큰 저해상도 얼굴에 적합하지만 매끈해지기도 가장 쉽습니다. GPEN-512는 이미지와 영상의 균형 잡힌 기본값, GPEN-256은 속도가 우선일 때의 가벼운 선택지입니다.
보정이 꼭 필요한가요?
항상 그렇지는 않습니다. 교체 출력은 128픽셀 얼굴 패치라, 보정은 얼굴이 화면에서 클 때나 원본이 손상됐을 때 가장 효과적입니다. 깨끗한 소재에 얼굴이 작다면 “Off”가 더 자연스럽고 언제나 가장 빠릅니다.
보정으로 실패한 교체를 살릴 수 있나요?
없습니다. 신원 매핑, 정렬, 불안정한 추적은 보정으로 고쳐지지 않고 오히려 불안정함이 더 드러날 수 있습니다. 그 문제를 먼저 해결하세요.
보정을 켰더니 렌더링이 훨씬 느려졌습니다
보정이 감지된 얼굴마다 실행되어 각 교체 위에 복원 한 번이 더해지기 때문입니다. 여러 명이 나오는 소재에서는 비용이 배가됩니다.
보정 모델은 어디에 저장되나요?
사용자 모델 디렉터리입니다. 명시적 확인 후 내려받고 체크섬으로 검증합니다. 저장소에 포함되지 않으므로 새 보정 모델을 처음 쓸 때는 네트워크 연결이 필요합니다.
모델 이름이 아니라 소재로 보정을 고르세요
본인 클립에서 Off·Fast·HD·Strong을 모두 돌려 보고, 잘라낸 얼굴이 아니라 프레임 전체로 비교하고, 결과 옆에 렌더링 시간을 남기세요.