Stable diffusion 3 vs SDXL vs Cascade 뭐가 더 좋을까?

Stable Diffusion 3는 가장 최신에 나온 Stable Diffusion 모델입니다. Stable Diffusion Cascade 및 Stable Diffusion XL과 같은 이전 모델보다 텍스트 생성 및 프롬프트 팔로잉 성능이 뛰어납니다.

현재 Stable Diffusion 3은 API로 제공되고 있습니다. API 연동에 대해서는 다른 포스팅에서 자세히 다뤄보겠습니다.

그럼 본격적으로 3개의 모델에 대해 비교해보겠습니다.

 

텍스트 렌더링

읽기 쉬운 텍스트를 생성하는 것은 모든 AI 이미지 생성기에게 오랫동안 어려운 숙제였습니다. Stable Diffusion 1.5는 이 작업을 제대로 수행하지 못했고, Stable Diffusion XL은 이를 개선했습니다. 그리고 스테이블 캐스케이드는 비약적인 도약을 이뤘습니다. 하지만 더 좋은 소식은 Stable Diffusion 3의 텍스트 생성 기능이 한 단계 더 발전했다는 것입니다.

다음 프롬프트를 통해 텍스트 렌더링을 비교해보겠습니다.

a portrait photo of a 25-year old beautiful woman, busy street street, smiling,
holding a sign “Stable Diffusion 3 vs Cascade vs SDXL”

텍스트 렌더링 기능을 비교해보자

SDXL 모델은 얼핏봐도 글자가 삐뚤하고 정렬되지 못한느낌을 줍니다. Cascade 모델은 SDXL과 비교해서는 깔끔한 텍스트를 뽑아내지만 정확하게 원하는 텍스트를 생성하진 못했습니다.

하지만 스테이블 디퓨전 3는 텍스트 생성 성능은 두 모델과 다르게 압도적으로 뛰어났습니다. 현재까지 나온 모델 중 가장 텍스트를 잘 뽑아내는 모델이라고 말할 수 있습니다.

 

프롬프트 팔로잉

다음으로는 포즈 제어 프롬프트를 통해 각 모델이 얼마나 프롬프트를 따르는지 알아보겠습니다. 

Photo of a woman sitting on a chair with both hands above her head, white background

 

프롬프트 팔로잉 체크

세개의 모델 모두 어느정도 프롬프트를 잘 따라는걸 확인 할 수 있습니다. 대부분의 경우 Stable Diffusion 3의 사람 포즈 정확도는 SDXL 및 캐스케이드와 비슷합니다. 까다로운 포즈의 경우에는 Stable Diffusion 3가 다른 두 가지보다 우위에 있을 수 있습니다. 아무래도 비용을 지불하고 쓰는 모델이니 정확도 면에서는 더 나은 모습을 보여주지 않을까 기대해봅니다.

 

얼굴

얼굴 생성은 아마도 AI 이미지 생성기의 가장 인기있는 요소중 하나라고 생각합니다.저 역시 예쁜 모델 사진을 뽑기 위해 여러번 생성한 경험이 있는데 Stable Diffusion 3의 성능이 궁금해집니다.

다음 프롬프트를 통해 테스트해 보겠습니다.

photo of a 20 year old korean k-pop star, beautiful woman,
detailed face, eyes, lips, nose, hair, realistic skin tone

 

사실적인 스타일을 강화하기 위해 네거티브 프롬프트에 '3D' 및 'cartoon' 키워드를 추가했습니다:

disfigured, deformed, ugly, 3d, cartoon

 

얼굴 생성 비교

모든 모델이 심각한 결함 없이 꽤 잘 작동했습니다. 기본 스타일과 노출 수준은 모두 다릅니다. 보다 구체적인 프롬프트와 네거티브 프롬프트를 지정해서 비교해보면 도움이 될 것 같습니다.

개인적으로는 Stable Diffusion 3 모델이 더 잘 나온 것 같지만 취향차이로 나뉠 것 같습니다.

 

---

결론

Stable Diffusion 3는 텍스트 렌더링과 프롬프트에 따라 이미지를 생성하는 기능이 눈에 띄게 개선되었습니다.

프롬프트에 따라 사람의 포즈를 연출하는 데는 여전히 불완전하지만, 이전 모델들에 비해 충분히 좋아졌다고 생각합니다.

얼굴 생성은 일반적으로 이전 모델과 동등한 수준으로, 이미 뛰어난 성능을 보여주고 있습니다.

하지만 안타깝게도 Stable Diffusion 3는 여전히 손을 생성하는 데 문제가 있어 보였습니다. 이전 모델에 비해 개선되지 않은 것 같기에 이 부분에 좀 더 집중적인 노력이 있었으면 좋겠습니다.