FramePack 성능 극대화를 위한 필수 모듈과 고급 모드 설정 가이드

FramePack는 정적인 이미지를 부드럽고 일관된 동영상으로 변환해주는 혁신적인 오픈소스 AI 영상 생성 도구입니다. 특히 6GB VRAM을 가진 소비자용 GPU에서도 고품질의 긴 영상을 생성할 수 있어 많은 크리에이터들에게 주목받고 있습니다. 이 글에서는 FramePack의 효과적인 사용을 돕는 보조 프로그램과 모드, 그리고 설치 관련 기능들을 중심으로 설명합니다.

---

🧠 FramePack란?

FramePack는 Stanford University의 Lvmin Zhang과 Maneesh Agrawala가 개발한 차세대 영상 생성 모델로, "다음 프레임 예측(next-frame prediction)" 방식을 사용하여 영상을 점진적으로 생성합니다. 이 기술은 입력 프레임의 컨텍스트를 압축하여 GPU 메모리 사용량을 일정하게 유지하며, 긴 영상도 효율적으로 생성할 수 있도록 설계되었습니다.

주요 특징:

• 6GB VRAM으로 30fps의 1분짜리 영상 생성 가능
• RTX 4090 기준으로 프레임당 1.5~2.5초의 생성 속도
• Gradio 기반의 직관적인 GUI 제공
• 프롬프트 기반의 이미지 애니메이션 지원
• 비드리프팅(anti-drifting) 기술로 긴 영상에서도 품질 유지

---

🛠️ FramePack 사용을 보조하는 프로그램 및 모드

1. xformers, flash-attn, sage-attention 자동 설치 스크립트

FramePack의 성능을 최적화하기 위해서는 고속 어텐션 모듈의 설치가 필요합니다. GitHub의 Issue #138에서는 이러한 모듈들을 Windows 환경에서 한 번의 클릭으로 설치할 수 있는 배치 파일을 제공합니다.

사용 방법:

1. FramePack 공식 ZIP 파일을 다운로드하여 압축을 풉니다.
2. package_installer.zip 파일을 FramePack 디렉토리에 위치시킵니다.
3. 배치 파일을 실행하고 안내에 따라 설치를 진행합니다.

이 스크립트는 Python 3.10.6 헤더 파일과 필요한 패키지들을 자동으로 설치하여 사용자의 편의를 높입니다. 설치가 완료되면 FramePack는 향상된 메모리 관리와 연산 속도를 바탕으로 더욱 원활한 영상 생성을 지원합니다.

2. TeaCache 모드

TeaCache는 영상 생성 시 컨텍스트 캐싱을 활용해 속도를 최대 40%까지 향상시키는 고속 처리 모드입니다. 생성 시마다 연산되는 프레임 정보를 일부 메모리에 저장하여 반복 작업을 줄이며, 작업 시간 단축에 크게 기여합니다.

특징:

• 속도 위주의 생성에 적합
• 일부 세부 디테일의 품질 저하 가능
• 초안 영상 또는 실험 단계에서의 활용에 적합

최종 결과물 생성 시에는 TeaCache를 비활성화하는 것이 보다 정밀한 품질 확보에 도움이 됩니다.

3. ComfyUI 통합 워크플로우

FramePack는 MimicPC에서 제공하는 ComfyUI 기반 웹 인터페이스와 통합되어, 설치 과정 없이도 온라인에서 작동하는 워크플로우를 제공합니다. 복잡한 환경 설정 없이 프롬프트와 이미지를 업로드하면 영상 생성이 가능합니다.

지원 워크플로우 예시:

• "Framepack I2V - Longer videos keeping context between frames"
• "FramePack: img2video & Generate long videos with consistent subject"

이 통합 UI는 프레임 간 일관성을 유지하며 고속 처리와 비주얼 품질을 모두 충족시킬 수 있는 설정을 기본으로 제공합니다.

4. Lora 및 WAN 모델 통합 기능

FramePack는 Lora 기반 세부 스타일 제어 및 WAN(Warp Affine Network) 모델과의 결합을 통해 영상의 스타일 일관성과 해상도를 유지합니다.

기능 요약:

• Lora: 특정 캐릭터나 스타일을 고정된 형상으로 유지할 수 있도록 학습된 LoRA 파일 지원
• WAN 2.1: 고속 생성 속도와 높은 시각적 정밀도를 동시에 확보하는 데 유리함

이러한 기능은 특히 인물 애니메이션 및 반복적인 캐릭터 표현에서 유용하게 활용됩니다.

---

🖼️ 모드 설치 후 인터페이스 구성 설명

아래 이미지는 FramePack에 모드 설치가 완료된 상태의 실행 화면입니다. 모드에 따라 인터페이스가 추가되며, 다음과 같은 기능 구성이 제공됩니다.

FramePack 모드 설치 완료 후 실행 화면

 

기능 설명:

• Start Frame / End Frame 업로드: 생성할 영상의 시작 프레임과 종료 프레임(선택)을 업로드할 수 있는 부분입니다. 루프 영상이나 트랜지션 효과 제작 시 유용하게 쓰입니다.
• Output Resolution 슬라이더: 생성될 영상의 가로 해상도를 설정합니다. 높이는 비율에 따라 자동 조정됩니다.
• Prompt / Negative Prompt 입력창: 사용자가 원하는 동작, 분위기를 텍스트로 입력하며, 제외할 요소를 Negative Prompt에 설정할 수 있습니다.
• Prompt Examples: 아래 예시들은 초보자도 참고하기 쉽게 준비된 프롬프트 샘플입니다. 클릭 한 번으로 자동 입력됩니다.
• Generated Video 창: 생성된 영상이 우측 상단에 실시간으로 미리보기 형식으로 출력됩니다.

이 화면은 TeaCache 모드 및 고속 어텐션 모듈 설치가 완료된 상태에서 제공되는 인터페이스로, 영상 생성 과정에서 다양한 설정을 손쉽게 조절할 수 있도록 돕습니다.

 

⚙️ 고급 설정 패널 설명 (TeaCache 및 고급 모드 활용)

아래 이미지는 고급 설정 항목이 확장된 FramePack 인터페이스입니다. TeaCache 모드와 다양한 성능 옵션을 세부적으로 조정할 수 있는 환경으로, GPU 메모리 효율화와 프레임 품질 최적화에 중요한 역할을 합니다.

FramePack 고급 설정 인터페이스 (TeaCache 및 세부 생성 옵션 포함)

 

기능 설명:

• Keep Models in GPU Memory After Generation: 생성 완료 후에도 GPU 메모리에 모델을 유지하여 재생성 시 빠른 속도를 유지할 수 있게 합니다. VRAM이 충분한 경우 활성화 권장.
• Keep Only Final Video: 중간 생성 결과물을 저장하지 않고 최종 영상만 저장하여 디스크 공간을 절약합니다.
• Use TeaCache Optimization: TeaCache 캐시 최적화 기능을 켜는 옵션입니다. 생성 속도는 증가하지만 손/발 등 섬세한 묘사에는 영향이 있을 수 있습니다.
• Seed 설정: 랜덤성 제어를 위한 시드 값입니다. 동일한 프롬프트와 시드로 같은 결과를 재현할 수 있습니다.
• Target Video Length: 생성할 영상의 전체 길이(초)를 설정합니다. 1초부터 최대 120초까지 조절 가능.
• Sampling Steps: 프레임당 생성 반복 횟수입니다. 수치가 높을수록 더 부드럽고 정교한 결과를 얻을 수 있지만 시간이 오래 걸립니다.
• Guidance Scale (Distilled): 프롬프트 가이드 강도 조절. 기본값은 10이며, 숫자가 높을수록 프롬프트 반영도가 커집니다.
• MP4 Quality (CRF): 출력 영상의 압축률을 설정합니다. 낮을수록 고화질이며, 0은 무손실, 18은 고화질, 28은 저화질입니다.
• Output FPS: 최종 영상의 초당 프레임 수를 설정합니다. 일반적으로 24~30fps를 추천합니다.
• Low VRAM: Min Free GPU Mem (GB): 설정한 메모리 용량 이하로 내려가면 해당 세션을 로딩하지 않도록 하는 안전장치입니다. VRAM이 부족한 환경에서 유용합니다.
• CFG Scale (Real): 실제 생성 샘플의 다양성 균형을 조절하는 값입니다.
• CFG Re-Scale: 프롬프트에 대한 창의성/랜덤성 비율을 조절합니다. 값이 높을수록 더 자유로운 생성이 가능해집니다.

이 설정 패널은 FramePack를 보다 전문적으로 다루고자 하는 사용자에게 매우 유용하며, TeaCache와의 결합으로 최대 40%의 속도 향상을 기대할 수 있습니다.

---

✅ 결론

FramePack는 고성능 GPU 없이도 고품질의 영상을 생성할 수 있는 혁신적인 도구입니다. xformers, flash-attn, sage-attention과 같은 모듈의 통합 설치 스크립트와 TeaCache 모드, ComfyUI 통합 워크플로우, Lora 및 WAN 모델과의 통합을 통해 사용자는 더욱 효율적이고 다양한 설정의 영상을 생성할 수 있습니다. 특히 설치 편의성과 모듈 활용 중심으로 구성된 시스템은 초보자에게도 접근성을 높여줍니다.

---

참고 자료:

• FramePack GitHub 저장소: https://github.com/lllyasviel/FramePack
• 자동 설치 스크립트 Issue: https://github.com/lllyasviel/FramePack/issues/138
• MimicPC ComfyUI 워크플로우: https://www.mimicpc.com/learn/framepack-ai-image-to-video-for-frame-by-frame-animation

MimicPC - FramePack: AI Image to Video for Frame-by-Frame Animation

 

★ 이전 글 : [AI/AI Generative Media] - AI 이미지로 영상 만들기, 클릭 몇 번이면 끝! — FramePack 사용법과 장점 총정리