[SD. TIP] 컨트롤넷(controlnet) inpaint 활용하기 (2)

자 이번에는 컨트롤넷의 inpaint를 활용하여 outpaint처럼 사용하는 방법입니다. 포토샵의 generative fill과 비슷한 기능이라고 할 수 있겠습니다. 

 

0. 사용 예시

상반신만 나오는 포트레이트 이미지를 전신샷으로 바꿨습니다. 더불어 주변 환경도 추가되었습니다!

 

1. 준비물

SD, controlnet 1.1, inpaint model, photopea, 변화시킬 이미지

우선 SD 로컬 버전이나 코렙을 사용하시고 계시리라 생각하고 확장 앱에 대한 설치경로를 안내해 드릴게요. 설치 방법은 Extensions > URL로 설치하기를 통해 설치해 주시면 됩니다.

 

controlnet 1.1 : https://github.com/Mikubill/sd-webui-controlnet

photopea : https://github.com/yankooliveira/sd-webui-photopea-embed.git

 

2. Photopea에서 이미지 작업하기

작업할 이미지를 Photopea로 불러들여 작업을 합니다. 이번에는 원래 이미지에서 바깥방향으로 넓혀가면서 이미지를 생성하기 때문에 캔버스 크기(Alt+Ctrl+C)를 늘려주고 이미지를 선택해 줄 겁니다. 마찬가지로 이미지를 선택한 후에 Inpaint selection으로 마스크를 보내줍니다. 

AI가 기존 이미지를 자연스럽게 연결 생성할 수 있도록 겹치게 셀렉션 해줍니다.

3. Inpaint upload 세팅하기

Inpaint upload로 넘겨진 화면을 보면 원본 이미지는 윗쪽에 자리하고 있고 photopea에서 선택해서 가져온 부분을 보면 검은색 마스크 채워져 있습니다. 여기서 검은색 부분에 새로운 이미지로 채워 넣을 것인데요. 세팅을 잘해줘야 합니다.

Mask mode : Inpaint not masked

(아주 중요합니다. 기본은 Inpaint masked로 되어 있는데 not masked로 해야 검은색 부분에 이미지가 생성됩니다. )

Masked content : latent nothing

Inpaint area : Whole picture

Width & Height : photopea에서 적용한 캔버스 비율

(아주 중요합니다. 비율이 틀리면 생성된 이미지가 찌그러질 수 있어요. photopea에서 늘린 캔버스 비율에 맞춰 주세요. 저는 photopea에서 2048 x 3072로 캔버스를 늘렸는데요, 2:3에 비율이므로 여기서 512 x 768로 맞췄습니다.)

Denoising strength : 1

Inpaint 세팅하기

4. Controlnet 세팅하기

Inpaint upload 마스크된 이미지를 불러왔기 때문에 컨트롤넷에 이미지를 따로 넣을 필요는 없습니다. 아래에 옵션으로 세팅해 줍니다.

Enable : 체크

Preprocessor : inpaint_only+lama

Model : control_v11p_sd15_inpaint

Control Mode : ContorlNet is more important

controlnet 세팅하기

5. Prompt 세팅하기

이미지 퀄리티 관련된 프롬프트만 넣고 돌려도 SD가 알아서 채워주지만, 원하는 구상을 프롬프트로 채워 넣으면 해당이미지로 자연스럽게 연결되면서 이미지가 생성되는 것을 볼 수 있습니다.

Prompt 기본 세팅

highleg bikini 추가

2023.07.01 - [[TIP] Stable Diffusion] - [SD. TIP] 컨트롤넷(controlnet) inpaint 활용하기 (1)

[SD. TIP] 컨트롤넷(controlnet) inpaint 활용하기 (1)