Clip skip(CLIP Set Last Layer)이 도대체 뭘까?

안녕하세요, SDmaster 입니다. 이번 포스팅은 A1111에서는 'Clip skip', ComfyUI에서는 'CLIP Set Last Layer'라고

부르는 이 기능이 도대체 무엇이고 어떤 역할을 하는지 알아보겠습니다.

(아래 내용에선 Clip skip = CLIP Set Last Layer로 보시면 될 것 같습니다.)

Clip skip이란

Clip skip은 말 그대로 이미지 생성 과정의 일부를 건너뛰는 기능입니다. 즉 이미지 렌더링 속도도 빨라지는 효과가 있죠.

그렇다면 이 과정의 일부를 건너뛰는 이유는 무엇일까요?

일반적인 Stable Diffusion 1.5 기본 모델 이미지는 12개의 "Clip Layer"를 거치는데, 이는 세분화 수준과 같습니다.

초기 단계는 매우 광범위하지만, 이후 단계로 갈수록 이미지가 더욱 선명하고 구체화된다고 보시면 됩니다.

 

일부 기본 모델, 특히 'Danbooru tags'를 기반으로 한 모델의 경우, 매우 넓은 클립 레이어가 원치 않는 노이즈를 추가하기 때문에 시행착오를 거쳐 더 나은 이미지를 얻을 수 있었습니다. 말 그대로 레이어를 건너뛰면 GPU 시간을 절약하고 더 나은 아트를 얻을 수도 있게되는 것입니다.

 

Clip skip은 기본적으로 "텍스트 모델을 얼마나 정확하게 만들 것인지"에 대한 설정이라고 생각하면 됩니다.

테스트해 보면 각 클립 단계가 설명의 의미에서 더 많은 정의를 가지고 있음을 알 수 있습니다. 예를 들어 들판에 서 있는 젊은 남성에 대한 자세한 설명이 있는 경우 클립 단계가 높아질 수록 "서 있는 남자", "서 있는 젊은 남자", "숲에 서 있는 젊은 남자" 등의 이미지가 생성되는 것이죠.
하지만 과도한 클립 레이어는 이미지 생성 시 의미없는 덫칠을 할 경우가 생길 수 있습니다.

그래서 더 나은 품질을 위해 Clip skip을 통해 마지막 레이어에서 덫칠하지 못하게 하는 것이죠.

꼭 필요한가?

품질에 집착하시는 분들에 한해서 권장되는 사소한 최적화입니다. 애니메이션이나 세미 리얼리즘 작업을 하고 있다면 시도해 볼 가치가 있습니다. 혹은 모델에 따라 Clip skip을 요구할 수 도 있습니다.

추천하는 Skip 수

일반적으로 1~2회 정도를 추천드립니다. 5회가 넘어가게 되면 과도하게 스킵돼서 원하는 이미지를 만들지 못하게 될 경우가 높습니다.

주의사항

Clip skip은 "안전벨트 착용"과 같은 안전한 기본 설정 중 하나가 되어 많은 사람들이 설정만 해놓고 잊어버리는 경우가 많습니다.
하지만 이 기능은 LoRA와 같은 다른 기술을 사용할 때 예측할 수 없는 결과를 초래할 수도 있으므로 LoRA 및 텍스트 반전 기능을 사용할 때 꼭 필요한가에 대해 염두해두셔야 합니다.
레이어가 예상되는 곳에 레이어가 누락되면 이미지가 더 나빠지거나 전혀 작동하지 않을 수 있기 때문이죠.

결론

1. Clip skip(CLIP Set Last Layer)은 특정 모델에서 프롬프트 이해도를 높힐 수 있다.

2. Clip skip(CLIP Set Last Layer)의 세팅값은 2를 추천한다.

3. LoRA등 다른 기술 이용 시 주의가 필요하다.

ComfyUI CLIP Set Last Layer 세팅 모습

A1111에서 Clip skip 세팅 모습