스케치를 3D로: AI로 그림을 3D 모델로 만들기
손그림 스케치와 컨셉 아트를 AI로 게임에 바로 쓸 수 있는 3D 모델로 바꾸는 방법. 2단계 파이프라인, 1단계 대안, 정리 팁까지 알려 드려요.
Wandy3D 팀업데이트 5분 분량

컨셉 아티스트는 그림을 그려요. 게임 개발자에게는 3D가 필요하죠. 수십 년 동안 두 세계를 잇는 다리는 태블릿과 엄청난 인내심을 가진 모델러였어요. 이제 AI가 그 간극을 좁히기 시작했어요 — 대충 그린 스케치에서 쓸 만한 3D 모델까지 몇 분이면 충분해요.
다만 사진을 3D로 바꾸는 것보다는 어려워요. 연필 그림은 사진보다 담긴 정보가 적거든요. 조명도, 시차도 없고, 선 너머에 뚜렷한 실루엣이 없는 경우도 많아요. 이 가이드에서는 실제로 통하는 워크플로를 소개할게요.
스케치를 바로 3D로 바꾸기가 사진보다 어려운 이유

Wandy3D나 Hunyuan3D 같은 최신 이미지-3D 모델은 주로 렌더 이미지와 사진으로 학습했어요. 그래서 확실한 음영, 원근 단서, 뚜렷한 재질 경계를 기대하죠. 선화에는 이런 게 하나도 없어요. 평면적인 연필 스케치를 인기 있는 이미지-3D 모델 어디에 넣어도 대개 흐물흐물하고 덜 만들어진 메시가 나와요 — 네트워크가 표면이 실제로 어디에 있는지 전혀 모르기 때문이에요.
해결책은 네트워크가 학습한 것과 더 비슷한 입력을 주는 거예요. 즉, 스케치를 먼저 렌더링된 이미지로 바꾸는 거죠.
2단계 파이프라인(추천)
믿을 만한 워크플로는 두 단계로 이뤄져요:
- 스케치에서 렌더 이미지로 — ControlNet을 붙인 Stable Diffusion이나 Imagen 같은 이미지-투-이미지 모델에 선화를 넣어, 음영이 들어간 사진 같은 레퍼런스를 만들어요.
- 렌더 이미지에서 3D로 — 그 렌더 이미지를 일반적인 이미지-3D 파이프라인에 넣어요.
이 방법이 통하는 건 각 단계가 모델의 강점을 살리기 때문이에요. ControlNet의 scribble이나 lineart 전처리기는 말 그대로 실루엣을 유지한 채 그림을 사실적인 결과물로 바꾸도록 설계됐어요. 그러면 3D 모델은 제대로 이해할 수 있는 이미지를 받게 되죠.
1단계 실전
스케치를 Stable Diffusion UI(Automatic1111, ComfyUI, Forge — 편한 걸로 고르세요)에 불러오세요. ControlNet 유닛을 켜고 lineart 또는 canny 전처리기를 선택해요. 원하는 느낌을 프롬프트로 적어 주세요: "3D render, studio lighting, neutral grey background, octane". 프롬프트는 단순하게 쓰세요 — 일은 대부분 실루엣이 해 줘요.
2단계 실전
렌더 결과물을 Wandy3D 생성기에 넣으세요. 여기서부터는 일반 사진을 3D로 바꾸는 과정과 똑같아요. 모드를 고르고, 몇 분 기다린 뒤, 필요한 형식으로 모델을 다운로드하면 돼요.
AI에 넣을 스케치, 이렇게 준비하세요
- 뚜렷한 실루엣 — 내부 디테일보다 가장 바깥 윤곽선이 더 중요해요. 사람이 실루엣만 보고 뭔지 알 수 없다면 AI도 알 수 없어요.
- 물체 하나, 단순한 배경 — 흰 종이에 지저분한 음영 없이, 프레임 안에 다른 형태 없이 그려 주세요.
- 충분한 대비 — 흐릿한 연필보다 흰 종이 위 검은 잉크가 나아요. 고른 조명에서 스캔하거나 촬영하세요.
- 3/4 뷰 — 완전한 정면이나 측면은 AI가 입체를 추정할 단서를 주지 못해요. 카메라를 축에서 30-45도 틀어 주세요.
- 가벼운 음영도 도움이 돼요 — 부드러운 연필로 빠르게 명암만 넣어도 모델이 깊이 단서를 얻어요.
1단계 대안

몇몇 최신 모델은 선화를 바로 받아들여요. 아직 2단계 파이프라인만큼 안정적이진 않지만, 빠르게 결과를 보고 싶고 대상이 단순하다면 시도해 볼 만해요. 실루엣이 뚜렷한 가젯, 소품 같은 하드 서피스 물체라면 스케치를 한 번에 3D로 바꿔도 70% 정도는 완성되는 경우가 많아요. 캐릭터, 크리처, 털이나 천이 있는 모든 것 같은 유기적인 형태는 여전히 중간 렌더 이미지를 거치는 편이 좋아요.
활용 사례별 예시
캐릭터 컨셉 — 3/4 포즈, 기본 명암 표현, 단순한 의상. 2단계 파이프라인을 쓰세요. 얼굴은 사용하는 DCC 툴에서 다시 만들 각오를 하는 게 좋아요. AI가 몸과 의상은 꽤 비슷하게 잡아 주지만, 스케치에서 나온 얼굴은 아직 거칠어요.
제품·소품 디자인 — 가젯, 가구, 소품은 AI 3D가 특히 잘하는 분야예요. 측면 스케치에 3/4 렌더를 더해 2단계 파이프라인을 거치면, 계속 다듬어 나갈 탄탄한 3D 형태가 생겨요. Unity용 게임 레디 3D 모델도 참고하세요.
소품과 무기 — 보통 가장 쉬운 카테고리예요. 실루엣이 선명하고 재질이 단순해서 한 번에 되는 경우가 많아요.
3D 프린팅할 모델 — 스케치로 만든 모델도 사진으로 만든 모델과 똑같이 프린터로 보낼 수 있어요. 사진을 STL로 페이지에서 무료 출력 점검, 밀리미터 단위 크기 설정, 슬라이서까지 안내해요.
종이 모델 — 페이퍼크래프트 메이커가 스케치로 만든 모델을 번호가 매겨진 풀칠 탭과 함께 A4 또는 Letter 페이지로 펼쳐 줘요. 인쇄해서 자르고 접기만 하면 돼요.
스케치 기반 지오메트리 정리 팁
스케치에서 나온 메시는 사진에서 나온 메시보다 정리가 조금 더 필요해요. 흔한 문제는 다음과 같아요:
- 비대칭 — "대칭"으로 그린 손그림도 실제로는 완벽한 대칭이 아니에요. 대칭이 중요하다면 Blender에서 더 깔끔한 쪽 절반에 Mirror 모디파이어를 적용하세요.
- 떠 있는 디테일 — 애매한 선 때문에 AI가 지어낸 작은 형태들이에요. 삭제하거나 Merge by Distance로 합치세요.
- 텍스처 이음새 — AI는 한 시점에서 텍스처를 굽기 때문에 뒷면이 탁해 보일 수 있어요. PBR 재질로 빠르게 텍스처를 다시 입히면 대부분 해결돼요.
GLB를 툴로 가져오는 방법은 Blender 가져오기 가이드를 참고하세요.
이런 분께 추천해요
Maya를 배우지 않고도 자기 디자인을 3D로 보고 싶은 컨셉 아티스트. 종이에 디자인하고 플레이 가능한 에셋이 빨리 필요한 인디 게임 개발자 — 이 주제를 다룬 인디 에셋 파이프라인 가이드도 따로 있어요. 프리비즈 작업을 하는 애니메이션 스튜디오. 아이디어로 가득 찬 스케치북은 있지만 손으로 모델링할 시간은 없는 모든 분.
가지고 있는 스케치로 생성기를 사용해 보세요. 다른 사람들의 작품이 궁금하다면 커뮤니티 갤러리를 둘러보세요. 쌓인 컨셉을 한꺼번에 처리할 계획이라면 요금제 페이지에서 대량 할인을 확인하세요.




