[SD. TIP] LoRa를 설치해봅시다!

Stable Diffusion을 어느 정도 사용해 보셨으면 느끼셨을 거예요. 생각하는 이미지가 있는데 생각보다 고정이 쉽게 안 되는 것을요. 이럴 때 사용하는 뭔가 새로운 것을 찾게 되죠. 모델을 바꾸거나 아니면 다른 AI 그림 생성 툴을 이용해 볼 수도 있지요.  SD는 Lora를 이용하면 고정적인 이미지를 만들기가 쉬워집니다. 

 

*출처 : https://rentry.org/2chAI_LoRA_Dreambooth_guide_english#what-is-lora

 

1. LoRa의 개념

위 출처에 있는 LoRa를 바탕으로 설명해 드립니다. LoRA(Low-rank Adaptation for Fast Text-to-Image Diffusion Fine-tuning)는 Stable Diffusion 의 *.ckpt, *.safetensor로 되어 있는 모델과 같은 방식인데요.

• DreamBooth 방식보다 2배 빠릅니다.
• 작은 출력 파일 크기 (ckpt 4~6기가, safetensor가 1~2기가 정도에 비하면 많아야 350메가, 보통 150메가 이하이고 적은 것은 10메가도 안되네요.)
• 일반 모델에서 잘 조정되지 않는 부분은 로라를 통해 더 확실하게 조정할 수 있습니다.

최소 요구 사항: NVidia 비디오 카드, 6GB 이상의 VRAM.

 

2. LoRa의 설치

마찬가지로 LoRa는 여러 사이트에서 다운받을 수 있는데요. 허깅페이스 또는 유명한 ci***.com 이 있는데 성인채널이라서 자세한 언급은 안 할게요. 구글링 하시면 금방 나옵니다. 저는 허깅페이스에 있는 LoRa로 예시를 들겠습니다. https://huggingface.co/에 들어와서 검색창에 LoRa라고 입력하시고 검색하시면 여러 LoRa들이 보일 겁니다. 그 중에 한 가지를 선택해 보겠습니다. 이 LoRA는 한복에 특화되어 있는 Lora입니다. 적용하면 한복을 입고 나온다고 하니 한번 설치해 보겠습니다. Files and versions 탭을 눌러서 들어가면 다운가능한 파일들이 보입니다. 그중에 확장자. safetensors라고 된 파일을 눌러서 다운로드하여 줍니다.

허깅페이스에서 LoRa 다운로드하기

다운로드한 파일은 Stable-Diffusion-webui > models > Lora 폴더에 넣어주시면 됩니다.

 

3. SD에서 LoRa 실행하기

적용방법은 Generate 밑에 월광 화투패를 클릭하면 Lora 탭이 있습니다. 거기서 방금 다운로드한 hanbok 로라를 눌러줍니다. 그러면 자동으로 <lora:hanbok_LoRA_v2:1> 형태로 프롬프트에 들어옵니다. 여기서 <lora:      >는 로라를 사용하겠다는 말이고, hanbok_LoRA_v2는 로라의 파일명입니다. 그리고 바로 :1은 가중치인데 더 효과를 높게 주려면 1.2, 1.5 정도 주면 됩니다. 로라가 제대로 적용됐는지 확인하는 방법은 가중치를 2.0 이상으로 주면 화면이 깨집니다. 제대로 로라가 적용이 안되었다면 아무 변화가 없습니다.

 

Generate 밑에 화투패 모양 클릭 후 Lora 탭에서 선택하기

같은 seed로 한복 Lora 적용시킨 화면입니다. 원래 복장이 더 이뻐보이는 건 아쉽네요.

 

이전글 :

2023.03.08 - [[TIP] Stable Diffusion] - [SD. TIP] Stable Diffusion prompt 기본 운용

[SD. TIP] Stable Diffusion prompt 기본 운용