ComfyUI ControlNet 두 개 적용｜포즈·Canny 조합 비교

ComfyUI 왕초보 가이드 28 / 29장 · 기준: ComfyUI 0.34.0 / 프런트엔드 1.49.6 · Windows x64 / NVIDIA RTX Portable. 다른 버전에서는 메뉴와 노드 표시가 다를 수 있습니다.

이 장의 실습 자료 ZIP 내려받기 (7.2MB)
JSON·입력 PNG·본문 원본 이미지를 담았습니다. 압축을 푼 뒤 본문에 적힌 파일을 선택하세요. 모델과 프로그램은 포함하지 않습니다. 본문의 WebP는 가벼운 표시용 사본이며, PNG의 작업 정보·투명도와 원본 픽셀 비교에는 ZIP 안의 PNG를 사용하세요.

포즈로 팔·다리 자세를, Canny로 옷과 몸의 윤곽을 함께 참고해 새 이미지를 만듭니다.

1. 만들 결과

27장의 포즈와 16장의 Canny를 한 작업에서 사용합니다. 같은 참고 사진에서 만든 두 지도로 양팔을 옆 위로 펼친 자세와 내려온 상의 밑단을 참고하고, 남색 상의는 문장으로 주황색으로 바꿉니다.

이 실습은 원본 사진의 일부를 고치는 인페인트가 아니라 두 제어 정보를 참고한 새 이미지 생성입니다. 얼굴 동일성, 손가락 하나하나, 원본과 정확히 같은 옷을 보존하는 예제가 아닙니다. 두 제어를 더한다고 자동으로 품질이 좋아지지는 않습니다.

2. 준비물

새 모델이나 노드 설치는 필요 없습니다. 16·27장에서 준비한 아래 세 모델을 사용합니다. 포즈 지도는 27장의 실제 추출 결과를 그대로 제공하므로 SDPose 추출을 다시 실행할 필요가 없습니다.

입력 PNG 두 개를 ComfyUI/input에 넣거나 각각의 LoadImage 노드에서 업로드합니다. JSON은 노드·연결·설정을 저장하는 파일이며 모델과 입력 사진을 모두 포함하지 않습니다. 링크가 글이나 그림으로만 열리면 오른쪽 클릭 → 다른 이름으로 링크 저장으로 .json·.png 확장명을 유지합니다.

3. 따라 하기

A. 같은 사진의 포즈와 윤곽 준비하기

1. Ctrl+O로 ch28-combined.json을 엽니다. 이미 연결된 기본 파일로 시작합니다. 오른쪽 아래 보기 맞춤을 누르면 전체 그룹을 볼 수 있고, 마우스 휠로 필요한 부분을 확대합니다.
2. 27장 참고 사진 · 윤곽 추출용에서 ch28-reference.png, 같은 사진의 포즈 지도에서 ch28-pose-map.png를 선택합니다. 목록에 없으면 각 노드의 업로드할 파일 선택으로 지정합니다.
3. 사진에서 Canny 윤곽 추출의 low_threshold는 0.1, high_threshold는 0.2를 유지합니다. 두 값은 어떤 밝기 경계를 선으로 뽑을지 정하는 문턱값입니다. 제어 강도와 다른 설정이므로 기본 비교에서는 바꾸지 않습니다.
4. 두 입력은 모두 1024×1024입니다. 한쪽만 자르거나 회전하지 않습니다. 포즈 지도에는 색 선, Canny에는 흰 윤곽선이 들어가며 서로 바꾸어 연결하지 않습니다.

참고용 Canny 지도 PNG (ZIP) 도 제공합니다. 기본 JSON은 입력 사진에서 이 지도를 직접 계산하므로 따로 업로드하지 않아도 됩니다. 이번 두 지도는 같은 사진에서 왔습니다. 인터넷에서 찾은 다른 자세의 포즈 지도와 임의로 섞지 않습니다.

B. 두 제어 조건을 차례로 연결하기

ControlNet 적용 노드는 ControlNetApplyAdvanced 두 개입니다. 첨부 파일에서는 제목을 A · 포즈 적용, B · Canny 추가로 붙였습니다. 다음 연결을 살펴보세요. 직접 연결할 때는 오른쪽 출력 점을 같은 이름의 왼쪽 입력 점으로 끌어 놓습니다.

KSampler를 A 출력에만 연결하면 B의 Canny 조건은 빠집니다. 문장 노드에서 KSampler로 바로 연결하면 두 제어를 모두 건너뜁니다. Apply 노드의 선택 입력 vae는 이 조합에서는 비워 두고, SDXL VAE는 VAEDecode에 연결합니다.

C. 기본값으로 한 장 생성하기

1. A · SDXL 포즈 모델에 xinsir-openpose-sdxl-1.0.safetensors, B · SDXL Canny 모델에 control-lora-canny-rank256.safetensors, SDXL Base · 생성 모델에 sd_xl_base_1.0.safetensors를 선택합니다.
2. A · 포즈 적용은 strength 1.0, start_percent 0.0, end_percent 1.0입니다. B · Canny 추가는 strength 0.65, start_percent 0.0, end_percent 0.65입니다.
3. 긍정 문장은 주황색 긴팔 상의·회색 운동 바지·흰 운동화를 입은 성인 한 명을 설명합니다. 팔 자세는 문장으로 강요하지 않고 지도에서 전달합니다. 비교를 위해 문장을 그대로 둡니다.
4. 두 지도와 같은 1024×1024 EmptyLatentImage는 width·height 1024, batch_size 1입니다. 두 제어로 한 번 생성 KSampler는 아래 값을 유지합니다.
5. 상단 배치 수 1에서 실행을 누릅니다. 제어 지도 · Canny 저장에는 선 지도, 완성 · 포즈와 윤곽에는 주황색 옷의 인물이 나옵니다. 선 지도만 나왔다면 최종 생성까지 끝난 것은 아닙니다.
6. 완성 PNG는 ComfyUI/output/guide/ch28_combined_…png, Canny 지도는 ComfyUI/output/guide/ch28_combined_canny_…png입니다. 완성 이미지에서 양팔 방향과 상의 밑단을 확인합니다.

Canny의 end_percent 0.65는 생성의 앞부분에 윤곽 조건을 사용하고 뒷부분에는 그 추가 제어를 멈추는 설정입니다. 강도를 서서히 0으로 낮춘다는 뜻도, 결과 이미지의 65%를 잘라 쓴다는 뜻도 아닙니다. 포즈는 끝까지 유지합니다. KSampler denoise와 두 strength는 서로 다른 역할이므로 한꺼번에 바꾸지 않습니다.

full body studio photograph of one adult woman, front view, standing, wearing a plain orange long sleeve sweatshirt, gray sports trousers and white sneakers, entire body visible from head to shoes, centered, simple light gray background, soft even lighting, realistic anatomy

text, watermark, logo, multiple people, extra arms, extra legs, extra fingers, fused limbs, malformed hands, deformed anatomy, cropped head, cropped feet, out of frame, blurry, low quality

D. 결과를 비교하고 작업 보관하기

아래 세 이미지는 문장·seed·생성 설정·연결을 유지하고, 각 제어의 strength만 켜거나 끈 결과입니다. 포즈만 썼을 때와 두 개를 썼을 때의 상의 밑단과 머리카락 외곽을 먼저 비교합니다.

두 개의 역할이 완전히 분리되는 것은 아닙니다. 이번 Canny 지도에도 사람의 전체 자세가 들어 있어 Canny만으로도 비슷한 자세가 나옵니다. 함께 쓴 결과가 모든 항목에서 더 우수하다는 증거로 해석하지 않습니다. 기본 결과의 목표는 서로 맞는 두 조건을 연결해 자세와 윤곽을 함께 참고하는 것입니다.

완성 결과 PNG (ZIP) 와 일반 JSON (ZIP) 을 제공합니다. 값을 바꿨다면 그래프 → 내보내기로 ch28-my-combined.json을 보관합니다. 다시 열 때는 참고 사진·포즈 PNG와 세 모델을 다시 선택할 수 있어야 합니다. 다른 사진을 쓸 때는 27장 A단계에서 그 사진의 포즈 지도를 새로 추출하고 두 입력을 함께 바꿉니다.

선택 실습 2 · Canny 강도와 종료 시점을 하나씩 바꾸기

먼저 기본 파일을 복사하고, 포즈는 1.0·시작 0·종료 1로 고정합니다. 아래 비교는 기본과 저장 접두사 외에 표시된 값 하나만 다릅니다. 두 비교를 연달아 누적하지 말고 매번 기본 파일에서 시작합니다.

실험	바꾸는 값	JSON
윤곽 강도 낮추기	Canny strength 0.65 → 0.30, end는 0.65 유지	ch28-softer.json (ZIP)
윤곽을 끝까지 사용	Canny end_percent 0.65 → 1.0, strength는 0.65 유지	ch28-full-range.json (ZIP)

낮은 강도는 형태를 자유롭게 바꾸는 데 도움이 될 수 있지만 원본 윤곽 보존에는 불리할 수 있습니다. 종료 시점을 늘려도 모든 세부가 더 정확해지는 것은 아닙니다. 위 결과는 차이를 읽는 대조 예제이며 앞주머니나 작은 장식을 기본 실습의 성공 목표로 삼지 않습니다. 원하지 않은 변화가 생기면 기본값으로 돌아가 한 값씩 조정하세요. 강도 0.30 PNG (ZIP) · 종료 1.0 PNG (ZIP)

4. 정상 결과 확인

5. 자주 생기는 문제

준비 단계에서 PC 정보가 헷갈린다면 GPU·메모리 등 내 컴퓨터 사양 확인 방법을 함께 참고하세요. 이 장의 결과와 작업 JSON을 보관한 뒤 다음 실습으로 넘어가면 다시 비교하기 쉽습니다.