[SD. TIP] 컨트롤넷(controlnet) inpaint 활용하기 (1)

스테이블디퓨전 유저라면 막강한 기능의 컨트롤넷을 사용하지 않을 수가 없습니다. 그중에서 컨트롤넷 1.1 버전부터 새로 업데이트된 인페인트 기능에 대해 활용하는 방법을 소개합니다. 이 기능은 포토샵 generative fill을 사용하는 것과 동일한 효과를 낼 수 있어서 포토샵을 사용하지 않는다면 꼭 사용해봐야 하는 기능이라고 생각합니다. 실질적으로 활용도가 높아 저도 자주 사용하고 있습니다.

 

0. 사용 예시

약간 자극적일 수 있지만 아래와 같은 예시를 들어보겠습니다.

평범한 셔츠의 느낌의 이미지에 컨트롤넷 인페인트 작업을 진행했습니다. 셔츠가 벌어져 가슴골이 드러나는 룩으로 변화해 사람(남자)의 관심을 끌기 좋아졌습니다.

본격적으로 사용 방법에 대해 안내해드릴게요.

 

1. 준비물

SD, controlnet 1.1, inpaint model, photopea, 변화시킬 이미지

우선 SD 로컬 버전이나 코렙을 사용하시고 계시리라 생각하고 확장 앱에 대한 설치경로를 안내해 드릴게요. 설치 방법은 Extensions > URL로 설치하기를 통해 설치해 주시면 됩니다.

 

controlnet 1.1 : https://github.com/Mikubill/sd-webui-controlnet

photopea : https://github.com/yankooliveira/sd-webui-photopea-embed.git

 

2. Photopea에서 이미지 작업하기

photopea 확장앱을 설치하셨다면 SD 안에서 photopea 작업을 직접 할 수 있습니다. photopea는 포토샵의 기본 기능을 사용할 수 있는 확장앱으로 인페인트 작업에서 유용하게 쓰실 수 있습니다. 작업할 그림을 불러와서 수정할 영역을 직사각형 선택박스로 선택해 줍니다. 

선택 후 하단에 Inpaint selection을 실행하면 Img2img에서 inpaint upload로 그림이 넘어온 것을 확인할 수 있습니다. 여기서 중요한 세팅은 그림의 원본이미지와 같은 해상도 비율로 설정해줘야 합니다. 예를 들어 원본이 가로세로 1:1 비율이면 inpaint 작업 시의 Width와 Height도 같은 비율로 설정해야 그림이 안 찌그러집니다. 

 

3. Inpaint 세팅하기

제가 진행 주요 세팅은 아래와 같으니 참고하세요.

Inpaint masked : 체크

latent nothing : 체크

Denoising Strength : 1 (기본은 0.75로 되어 있으니 1로 변경해 주세요)

inpaint setting

4. Controlnet 세팅하기

컨트롤넷은 Enable 체크해 주시고, 컨트롤 타입은 Inpaint를 체크합니다.

Preprocessor : inpaint_only+lama 선택

Model : control_v11p_sd15_inapint 선택

Control mode : ControlNet is more important

controlnet setting

5. 프롬프트 세팅 후 생성하기

원본 이미지의 관능을 상승시켜주기 위해 기본 퀄리티 프롬프트에 cleavage 단어만 추가했습니다.

이제 마음에 드는 이미지가 나올 때까지 계속 돌려봅니다. 버튼 누르기 귀찮으므로 batch count를 10으로 하고 돌려봅니다.

inpaint+lama

이 중에 가장 마음에 드는 이미지를 선택하고 tile_resample을 이용하여 다듬어주면 좀 더 완벽한 이미지를 만들 수 있습니다. 

 

2023.05.25 - [[TIP] Stable Diffusion] - [SD. TIP] 컨트롤넷(controlnet) 1.1 업스케일, tile_resample

[SD. TIP] 컨트롤넷(controlnet) 1.1 업스케일, tile_resample