3D 얼굴 애니메이션 만들기: 표정 51개, 기본 클립, 그리고 내 카메라
‘얼굴 애니메이션’이 직접 만든 머리를 눈을 깜빡이고 웃고 말하는 캐릭터로 바꾸는 과정을 소개해요. 사진에서 말하는 흉상까지의 실제 예시, 내부에서 일어나는 다섯 단계, 웹캠이나 휴대폰으로 쓰는 ‘실시간 표정’, 파일에 담기는 것, 그리고 솔직한 한계까지 담았어요.
Wandy3D 팀8분 분량

멍하니 앞만 바라보는 3D 머리는 캐릭터로서는 반쪽이에요. ‘얼굴 애니메이션’은 Wandy3D에서 만든 머리가 눈을 깜빡이고, 웃고, 찡그리고, 말하게 해 줘요. 모델은 원래의 메시와 텍스처를 그대로 유지하면서, 움직이는 눈, 치아와 입 안쪽, 표준 ARKit 이름을 가진 표정 셰이프 51개, 기본 클립 11개를 얻어요. ‘실시간 표정’을 쓰면 웹캠이나 휴대폰으로 내 얼굴이 직접 모델을 움직여요. 아래에서는 사진 한 장이 말하는 머리가 되기까지의 실제 예시와 내부에서 일어나는 일, 그리고 받게 되는 결과물을 소개할게요.
이 글의 머리로 직접 해 보기
아래가 바로 그 얼굴 애니메이션 버전을 3D로 보여 주는 화면이에요. 클립을 탭하면 재생되고, ‘셰이프 51개’를 열면 표정을 하나씩 따로 움직일 수 있어요. ‘카메라’를 고르고 표정을 지어 보세요. 머리가 그대로 따라 해요. 카메라 화면은 내 기기에서 처리되고 외부로 전송되지 않아요.

13 MB 크기의 3D 모델을 불러와요. 카메라는 직접 켜기 전까지 꺼져 있어요.
예시: 사진에서 말하는 머리까지
실제 사람의 얼굴은 보여 주고 싶지 않았기 때문에, 이 예시의 인물은 실존하지 않아요. 초상화는 이미지 생성 AI가 짧은 설명을 바탕으로 만들었어요. 흰 배경에 검은 티셔츠를 입은 수염 난 남자가 입을 다문 채 카메라를 바라보는 모습이에요. 그다음부터는 다른 사용자와 똑같은 과정을 거쳤어요.
- 사진으로 3D 모델 만들기. 초상화를 ‘만들기’에 올리고 기본 모델 버전인 Wandy 2로 생성했어요. 텍스처가 입혀진 흉상이 약 2분 만에 완성됐어요.
- 얼굴 애니메이션. ‘만들기’ → ‘애니메이션’에서 ‘얼굴 애니메이션’을 눌렀어요. 이 버튼은 모델 페이지에도 있어요. 크레딧은 한 번만 차감되고, 얼굴 애니메이션을 만들 수 없으면 자동으로 환불돼요.
- 새 버전. 43초 뒤 흉상에 두 번째 버전인 ‘얼굴 애니메이션’이 생기고, 스테이지에 ‘표정’ 패널이 나타났어요. 원본 모델은 그대로 남아요. 이번에는 처리 서버가 이미 켜져 있었어요. 보통은 3–6분 걸려요.

내부에서 일어나는 다섯 단계
1. 얼굴 찾기
모델을 일곱 각도에서 렌더링해요. 정면, 좌우 각각 25°와 45°, 위아래에서 각각 15°예요. 페이스 트래킹이 이미지마다 눈, 입술, 눈썹, 코, 턱의 윤곽을 따라 점 478개를 찾아요. 어떤 각도에서 보이지 않는 점은 버리고, 나머지를 3D로 합쳐요. 같은 단계에서 이 얼굴에 애니메이션을 적용할 수 있는지도 확인해요. 사람의 얼굴인지, 눈을 떴는지, 입술이 닫혀 있는지를요.

2. 얼굴 템플릿 맞추기
애니메이션에는 처음부터 그걸 위해 만든 얼굴이 필요해요. 눈꺼풀이 어디서 접히는지, 입술이 어떻게 벌어지는지, 턱이 어떻게 움직이는지 아는 얼굴이요. 그래서 이런 얼굴 템플릿을 써요. 피부, 안구, 치아, 잇몸, 혀, 입 안쪽으로 이뤄져 있고, ARKit 표정마다 셰이프가 하나씩 있어요. 먼저 템플릿의 비율을 머리에 맞춘 다음, 점 하나하나를 모델 표면으로 끌어당겨요. 이 머리에서는 템플릿 점의 절반이 표면에서 0.21 mm 이내, 90%가 0.65 mm 이내에 들어왔어요.

3. 표정을 모델 자체로 옮기기
템플릿이 내 모델을 대신하는 일은 없어요. 얼굴의 각 점은 맞춰 둔 템플릿에서 가장 가까운 점을 따라 움직여요. 그래서 머리는 원래의 메시, 텍스처, 닮은 모습을 그대로 지키면서 움직이는 능력만 얻어요. 입술은 맞닿는 선을 따라 갈라 두기 때문에, 입을 벌려도 피부가 찢어지지 않아요. 수염은 그 아래 피부와 함께 움직이고, 머리카락, 귀, 목, 옷은 움직이지 않아요. 이 흉상에서는 점 181,262개 중 67,176개(37%)가 움직여요.

4. 눈과 입 안쪽
그려진 눈은 깜빡이거나 이리저리 볼 수 없어서, 그렇게 할 수 있는 안구로 바꿔요. 홍채 색은 모델의 원래 눈에서 가져와요. 치아, 잇몸, 혀, 입 안쪽은 입술 뒤에 넣고, 빛이 닿지 않는 곳에는 그늘을 넣어요. 그래서 벌린 입이 구멍이 아니라 진짜 입처럼 보여요.

5. 클립과 파일
마지막으로 Idle(숨쉬기와 눈 깜빡임, 반복 재생)부터 Blink, Smile, Laugh, Surprise, Angry, Sad, Wink, Kiss, Look Around, Talk까지 클립 11개를 파일에 기록해요. 결과는 새 버전으로 저장돼요. 원본 모델의 파일에 표정 셰이프와 클립을 더한 것으로, 다운로드용 파일은 45 MB, 뷰어에서 불러오는 사본은 13 MB예요.

표준 이름을 가진 표정 51개
각 표정은 셰이프(블렌드 셰이프, Blender에서는 셰이프 키)로 저장돼요. 예를 들면 턱을 벌린 상태의 같은 얼굴이에요. 0에서 1 사이의 값으로 섞는 정도를 정하고, 셰이프를 어떻게 섞든 새로운 표정이 돼요. 클립은 이 값들이 시간에 따라 바뀌는 것일 뿐이에요. 51개 셰이프에는 Apple ARKit 페이스 트래킹이 쓰는 이름이 붙어 있고, 많은 툴이 이 이름을 알아봐요.
| 얼굴 부위 | 셰이프 수 | 예시 |
|---|---|---|
| 눈 | 14 | eyeBlinkLeft, eyeLookOutRight, eyeWideLeft |
| 눈썹 | 5 | browInnerUp, browDownLeft |
| 턱 | 4 | jawOpen, jawLeft |
| 입 | 23 | mouthSmileLeft, mouthPucker, mouthFunnel |
| 볼과 코 | 5 | cheekPuff, noseSneerLeft |
ARKit에는 tongueOut 셰이프가 하나 더 있는데, 빠진 건 이것 하나뿐이에요. 이름이 표준이라서 이 파일은 모프 타깃을 지원하는 곳이라면 어디서든 쓸 수 있어요. Blender, Unity, Unreal, three.js 모두 돼요. ARKit 이름으로 기록하는 페이스 캡처 데이터도 1:1로 그대로 적용돼요.

실시간 표정: 내 얼굴로 모델을 움직여요
얼굴 애니메이션 버전이 스테이지에 있다면 ‘만들기’, 모델 페이지, 라이브러리 어디서든 ‘실시간 표정’을 찾을 수 있어요. ‘카메라 켜기’를 누르면 이렇게 진행돼요.
- 보정. 처음에는 얼굴에 힘을 빼고 잠시 화면을 바라보라는 안내가 나와요. 이때의 편안한 얼굴이 모든 표정의 영점이 돼요.
- 실시간. 페이스 트래킹이 카메라 프레임마다 값 52개를 읽고, 모델이 바로 그 표정을 보여 줘요. 기본적으로 모델은 거울 속 내 모습처럼 움직이고(‘미러’), 흉상이나 머리는 내 머리를 따라 회전해요. 전신 모델은 제자리에 그대로 있어요. ‘설정 더 보기’에서 스무딩과 표정 강도를 조절할 수 있어요.
- 녹화. ‘클립 녹화’는 내가 연기한 표정을 새 애니메이션으로 저장하고, ‘이 클립 포함 GLB 다운로드’를 누르면 그 테이크가 담긴 모델을 받을 수 있어요. ‘동영상 녹화’는 스테이지를 녹화하고, 원하면 마이크 소리와 화면 구석의 카메라 화면도 함께 담아요.
페이스 트래킹은 저희가 직접 준비한 파일(약 10 MB, 처음 한 번만 다운로드)로 브라우저 안에서 작동하고, 카메라 화면은 업로드되지 않아요. 솔직한 한계도 하나 있어요. 웹캠 페이스 트래킹은 볼 부풀리기, 코 찡그리기, 옆으로 움직이는 턱, 처지는 입꼬리를 측정하지 못해요. 그래서 실시간 모드에서는 이 셰이프들이 움직이지 않아요. 클립과 슬라이더에서는 여전히 쓰여요.

휴대폰을 카메라로
웹캠이 없거나 자유롭게 움직이고 싶다면, ‘실시간 표정’ 옆의 ‘휴대폰 카메라’를 누르고 QR 코드를 스캔하세요. 로그인도 앱도 없이 휴대폰에서 페이지가 열리고, 페이스 트래킹은 휴대폰이 직접 해요. 컴퓨터로 가는 건 표정 값 52개와 머리 회전 정보뿐이고, 영상은 절대 가지 않아요. 두 기기가 같은 Wi-Fi에 있으면 직접 연결되고, 그렇지 않으면 저희 서버를 거치는데, 서버는 데이터를 전달만 하고 아무것도 저장하지 않아요. 코드는 휴대폰이 연결될 때까지 10분 동안 유효해요.
받게 되는 것
| 버전 | 모델의 새 버전 ‘얼굴 애니메이션’. 원본은 그대로 남고, 얼굴 애니메이션 버전은 다시 열어도 무료예요. |
| 표정 | ARKit 이름을 가진 셰이프 51개 |
| 클립 | 11개: Idle(반복 재생), Blink, Smile, Laugh, Surprise, Angry, Sad, Wink, Kiss, Look Around, Talk |
| 눈과 입 | 시선을 돌리고 깜빡이는 안구, 그리고 치아·잇몸·혀·입 안쪽 |
| 파일 | GLB: 모델 고유의 메시와 텍스처, 셰이프, 클립 |
| 실시간 표정 | 내 테이크를 GLB의 추가 클립으로, 스테이지 동영상까지 |
| 애니메이션을 적용할 수 없을 때 | 크레딧이 자동으로 환불돼요 |
좋은 결과를 얻으려면
- 머리나 흉상이 가장 잘 맞아요. 전신 모델도 되지만, 실시간 모드에서는 내 머리를 따라 회전하지 않아요.
- 얼굴은 카메라를 향하고, 입은 다물고, 눈은 뜬 상태로. 이가 보이게 활짝 웃거나 입술이 살짝 벌어져 있으면 애니메이션을 적용할 수 없어요. 입술을 깔끔하게 가르려면 닫혀 있어야 해요.
- 사람의 얼굴. 사람의 비율이라면 실사풍이든 카툰풍이든 괜찮아요. 괴물이나 동물에는 애니메이션을 적용할 수 없어요.
- 편집은 먼저, 애니메이션은 마지막에. 원본에 리텍스처나 편집을 먼저 하고, 그 결과물에 얼굴 애니메이션을 적용하세요. 리메시하면 표정이 사라져요.
- 얼굴을 가리지 마세요. 머리카락과 옷은 움직이지 않고, 수염은 움직여요. 입가에 댄 손이나 휴대폰은 턱과 함께 움직여요.
얼굴을 찾지 못했거나, 입이 열려 있거나, 눈을 감고 있거나, 비율이 사람과 너무 다르거나, 얼굴이 너무 작아서 애니메이션을 적용할 수 없으면 작업이 멈추고 크레딧은 자동으로 환불돼요.
자주 묻는 질문
얼마나 걸리나요?
처리 서버를 기다리는 시간을 포함해 보통 3–6분이에요. 이 예시가 43초 만에 끝난 건 처리 서버가 이미 켜져 있었기 때문이에요. 그동안 페이지를 닫아도 괜찮아요. 작업은 계속되고, 새 버전은 라이브러리에 나타나요.
크레딧은 얼마나 드나요?
모델당 정해진 크레딧이 들어요. 시작하기 전에 ‘얼굴 애니메이션’ 버튼에 표시되고, 한 번만 차감돼요. 얼굴 애니메이션 버전을 다시 열거나, 클립을 재생하거나, ‘실시간 표정’을 쓰는 건 모두 무료예요.
카메라 영상이 녹화되거나 업로드되나요?
아니요. 페이스 트래킹은 내 기기에서 작동하고, 녹화본은 다운로드하기 전까지 브라우저 탭에만 남아 있어요. 휴대폰 카메라를 쓸 때도 전송되는 건 숫자뿐이고, 영상은 전송되지 않아요.
게임 엔진이나 Blender에서 파일을 쓸 수 있나요?
네, 해당 버전을 GLB로 다운로드하세요. Blender는 표정을 ARKit 이름이 붙은 셰이프 키로 가져오고, glTF를 가져올 수 있는 엔진은 블렌드 셰이프(모프 타깃)로, 클립은 애니메이션으로 읽어요.
카툰 캐릭터에도 쓸 수 있나요?
얼굴 비율이 사람과 같다면 쓸 수 있어요. 카툰풍으로 그린 사람 머리도 괜찮아요. 괴물이나 동물처럼 사람과 너무 다른 얼굴에는 애니메이션을 적용할 수 없고, 크레딧은 환불돼요.
이가 보이게 웃는 얼굴에도 애니메이션을 적용할 수 있나요?
아직은 안 돼요. 모델의 입이 닫혀 있어야 해요. 편안한 표정에 입을 다문 머리를 만드세요. 웃는 얼굴은 애니메이션이 만들어 줘요.




