LTX-Video 모델 설치 및 활용 가이드: ComfyUI로 쉽고 빠르게 고해상도 비디오 만들기

최근 인공지능 기술의 발전으로 비디오 제작의 패러다임이 빠르게 변화하고 있습니다. 그 중심에는 혁신적인 AI 기반 비디오 생성 모델인 LTX-Video가 있습니다. Lightricks에서 개발한 이 모델은 사용자가 텍스트나 이미지를 입력하면 고해상도의 비디오를 실시간에 가깝게 생성하는 놀라운 성능을 자랑합니다.

LTX-Video는 768x512 해상도에서 초당 24프레임의 비디오를 제작할 수 있으며, 현실적이고 감각적인 장면을 표현하기 위해 다양한 비디오 데이터셋으로 학습되었습니다. 예를 들어, "맑은 하늘 아래 활짝 핀 꽃밭"이라는 텍스트 프롬프트를 입력하면 실제 자연을 연상시키는 생동감 넘치는 비디오를 생성할 수 있습니다.

또한, LTX-Video는 직관적인 워크플로우를 제공하는 ComfyUI와 완벽히 통합됩니다. Lightricks의 ComfyUI-LTXVideo 커스텀 노드를 통해 텍스트-투-비디오, 이미지-투-비디오, 비디오-투-비디오 생성이 가능하며, 사용자는 직관적인 인터페이스를 통해 창의적인 비디오 제작을 손쉽게 시작할 수 있습니다. 특히, 고사양 장비 없이도 NVIDIA RTX 4090 같은 일반 소비자용 GPU에서도 원활하게 실행 가능해, 비용 부담 없이 고품질 비디오를 제작할 수 있다는 점은 LTX-Video만의 큰 장점입니다.

콘텐츠 제작자, 마케터, 영화 제작자 등 다양한 분야의 전문가들에게 LTX-Video는 단순한 도구를 넘어 새로운 창작의 지평을 열어주는 강력한 파트너가 될 것입니다. AI 기반 비디오 생성이 얼마나 간편하고 창의적인 도구로 진화하고 있는지, LTX-Video를 통해 직접 체험해 보세요!

LTX-Video로 제작한 영상

ComfyUI로 쉽게 시작하는 LTX-Video 설치 방법

ComfyUI는 LTX-Video 모델과의 통합을 지원하는 사용자 친화적인 인터페이스입니다. ComfyUI를 통해 텍스트에서 비디오를 만들어내는 작업이 간단해지며, 아래의 단계별 가이드를 따라서 직접 설치하고 사용해보세요.
https://comfyanonymous.github.io/ComfyUI_examples/ltxv/

Lightricks LTX-Video Model

 

1. ComfyUI 설치

먼저, LTX-Video를 사용하려면 ComfyUI를 설치해야 합니다. ComfyUI는 GitHub에서 무료로 제공되며 설치 과정도 간단합니다.

 

ComfyUI 설치 관련 글 :

2023.12.28 - [[TIP] Stable Diffusion/ComfyUI] - ComfyUI 설치부터 활용까지: 초보자도 쉽게 설치하기

2. ComfyUI-LTXVideo 통합 노드 설치

LTX-Video 모델을 사용하려면 ComfyUI-LTXVideo라는 통합 노드 모듈을 추가로 설치해야 합니다. 이 통합 노드는 LTX-Video와 ComfyUI를 연결해주는 역할을 하며, 간단한 명령어 몇 줄로 설치가 가능합니다.

1. ComfyUI의 custom_nodes 디렉토리로 이동합니다.
2. cd custom_nodes
3. ComfyUI-LTXVideo를 GitHub에서 클론합니다.
4. git clone https://github.com/Lightricks/ComfyUI-LTXVideo
5. 필요한 패키지를 설치합니다.
6. cd ComfyUI-LTXVideo pip install -r requirements.txt

3. LTX-Video 모델 파일 다운로드

비디오 생성을 위해서는 LTX-Video 모델 파일이 필요합니다. Hugging Face 사이트에서 제공하는 모델 파일을 다운로드하여 ComfyUI의 models/checkpoints 디렉토리에 저장해 주세요.

• 모델 다운로드: ltx-video-2b-v0.9.safetensors

mkdir -p models/checkpoints
mv ltx-video-2b-v0.9.safetensors models/checkpoints/

4. 텍스트 인코더 모델 다운로드

LTX-Video는 텍스트 기반 비디오 생성을 위해 별도의 텍스트 인코더를 사용합니다. 이를 설치하려면 다음 단계를 따라주세요.

1. ComfyUI/models/text_encoders 폴더에 아래 모델을 다운로드하여 넣어줍니다.
2. 모델 다운로드 : https://huggingface.co/PixArt-alpha/PixArt-XL-2-1024-MS or https://huggingface.co/Comfy-Org/mochi_preview_repackaged/blob/main/split_files/text_encoders/t5xxl_fp16.safetensors

5. ComfyUI 실행하기

모든 설치가 완료되었으니, 이제 ComfyUI를 실행하여 LTX-Video를 활용한 비디오 제작을 시작해 봅시다!

1. ComfyUI 실행합니다.
2. Workflow를 다운로드 하여 실행합니다.
3. ComfyUI 인터페이스에서 텍스트-투-비디오, 이미지-투-비디오 등 다양한 옵션을 통해 원하는 비디오를 제작해보세요.

더욱 다채로운 활용을 위한 팁

ComfyUI-LTXTricks

• LTX-Video에 대한 추가적인 제어 기능을 제공하는 커스텀 노드 모음입니다. RF-Inversion 및 RF-Edit 같은 고급 기능을 통해 더 세밀하게 비디오를 조작할 수 있습니다.
• ComfyUI-LTXTricks GitHub에서 확인할 수 있습니다.

결론

LTX-Video와 ComfyUI의 조합은 초보자도 쉽게 고해상도 비디오를 제작할 수 있게 돕는 강력한 도구입니다. 이번 가이드의 단계별 설치 방법을 따라 하면서, 텍스트에서 비디오로의 변환을 경험해 보세요. 다양한 노드를 활용해 창의적인 비디오 프로젝트를 진행하며 가능성을 확장해나갈 수 있을 것입니다!