ComfyUI StableDiffusion3 Medium 설치 방법 및 필수 정리

StableDiffusion 3 기본 모델은 월 이용료를 지불해야만 사용가능한 모델인 반면 스테이블 디퓨전3 Medium은 허깅페이스에서 간단한 정보만 입력한다면 누구나 다운받아 이용할 수 있습니다.

StableDiffusion 3 종류

그럼 현재 이용료를 지불하고 사용해야하는 모델과 차이는 뭘까요?

스테이블 디퓨전 3는 세가지 버전으로 나눠서 제공하고 있습니다. 각각의 차이는 매개변수와 추론시간이 다릅니다.

1. StableDiffusion 3 Medium : 약 20억개의 매개변수를 가진 모델
2. StableDiffusion 3 Large : 약 80억개의 매개변수를 가진 모델
3. StableDiffusion 3 Large Turbo : StableDiffusion 3 Large 모델과 동일하지만 추론 시간이 더 빠름

StableDiffusion 3 Medium 설치 방법

아래 링크를 클릭한 후 간단한 정보를 기입하고 모델을 다운받으실 수 있습니다. 목록을 보시면 여러개 모델 파일이 보이고 각 모델 별로 차이가 있습니다.

▶ StableDiffusion 3 Medium 허깅페이스 다운로드 링크 ◀

• 체크포인트 파일은 ComfyUI_windows_portable\ComfyUI\models\checkpoint 경로에 다운로드
• 'text_encoders' 폴더에 있는 클립파일은 ComfyUI_windows_portable\ComfyUI\models\clip 경로에 다운로드

---

sd3_medium.safetensors: MMDiT 및 VAE 가중치를 포함하지만 텍스트 인코더는 포함하지 않습니다.
sd3_medium_incl_clips_t5xxlfp16.safetensors: T5XXL 텍스트 인코더의 fp16 버전을 포함하여 필요한 모든 가중치를 포함합니다.
sd3_medium_incl_clips_ **t5xxlfp8. safetensors** : T5XXL 텍스트 인코더의 fp8 버전을 포함하여 필요한 모든 가중치를 포함하며 품질과 리소스 요구 사항 간의 균형을 제공합니다.
sd3_medium_incl_clips.safetensors: T5XXL 텍스트 인코더를 제외한 모든 필수 가중치를 포함합니다. 이 버전은 최소한의 리소스가 필요하지만 T5XXL 텍스트 인코더가 없으면 모델의 성능이 달라집니다.
text_encoders 폴더에는 사용자 편의를 위해 세 개의 텍스트 인코더와 원본 모델 카드 링크가 포함되어 있습니다. 이 폴더에 포함된 모든 구성 요소(및 다른 패키지에 포함된 동등한 구성 요소)에는 각각의 원본 라이선스가 적용됩니다.

---

다운을 받으셨으면 ComfyUI Manager를 통해 ComfyUI를 최신버전으로 업그레이드 해주시면 완료됩니다.

ComfyUI Manager

주의할 점

예제 워크플로우를 보시면 TripleCLIPLoader라는 노드를 보실 수 있습니다. 이 노드는 위에 말했듯 텍스트 인코더가 포함되지 않은 모델을 사용할 경우 필요한 노드로 sd3_medium_incl_clips_t5xxlfp16.safetensors(f8도 동일) 모델을 사용할 경우 노드 연결을 해제하고 이전과 같이 Load Checkpoint 노드의 CLIP 엣지에서 곧바로 연결시켜주어야 합니다.

결론

StableDiffusion 3의 장점은 역시 이전 버전 SDXL보다 텍스트를 보다 정확하게 표현한다는 점입니다. 물론 만족하는 이미지를 얻으려면 여러번 생성을 해야하겠지만 확실히 나아진 결과물을 받아보실 수 있을거라고 생각합니다.

아쉬운점은 ipadater나 ic-lihgt같은 확장 기능을 사용하지 못하는 점입니다. ComfyUI 장점은 이미지 생성을 커스텀화 시켜 원하는 이미지를 쉽게 얻는 거라고 생각하는데 아직 이런 확장 기능을 사용하지 못하는 점은 저한테 치명적인 단점으로 느껴집니다.

그래도 재미로 여러 이미지를 생성하면서 느낀점은 확실히 이미지의 퀄리티가 높아졌다는것입니다. 아직 Large 버전은 이용을 안해봤는데 여러 확장 기능이 사용하게 될 경우 충분히 돈을 지불하고 이용할 가치가 있다고 생각합니다.