ComfyUI에서 Flux 모델 설정 및 문제 해결 가이드: PyTorch 2.4+ 및 CUDA 설치 방법 포함

ComfyUI에서 Flux 모델을 사용하는 과정에서 발생 가능한 다양한 문제를 해결하기 위한 방법을 안내드려봅니다. 깃허브에서 아래와 같이 조치했을 때 정상 작동한 사례를 정리한 내용으로 시스템 및 GPU 메모리 관리, PyTorch와 CUDA 버전 확인 및 설치 방법, Flux 모델의 설정 및 실행 중 발생할 수 있는 오류를 해결하는 방법을 포함하고 있습니다.

※ 이 가이드는 개인 PC 환경에 따라 정상적인 진행이 되지않을 수 있는 점 참고해 주세요.

1. PyTorch 및 CUDA 버전 확인 및 설치

ComfyUI에서 Flux 모델을 사용하기 위해서는 PyTorch와 CUDA의 올바른 버전이 필수적입니다. 특히 PyTorch 2.4 이상의 버전이 필요한 이유는 최신 모델들이 최신 기능을 최대한 활용할 수 있도록 설계되었기 때문입니다. 최신 PyTorch는 더 나은 성능 최적화, 새로운 기능 지원, 그리고 다양한 하드웨어 가속을 제공하여 고성능 모델을 더욱 효과적으로 실행할 수 있습니다.

1.1 PyTorch 버전 확인 및 설치

1. 현재 설치된 PyTorch 버전 확인(Window PowerShell)

   python -c "import torch; print(torch.__version__)"

2. PyTorch 2.4 이상의 버전이 필요한 이유:
   • 최적화된 성능: PyTorch 2.4 이상은 최신 하드웨어 가속 기능과 CUDA의 최신 버전을 지원하여 더 빠르고 효율적인 모델 실행을 가능하게 합니다.
   • 버그 수정 및 안정성 향상: 최신 버전의 PyTorch는 이전 버전에서 발견된 버그들을 수정하고, 모델의 안정성을 향상합니다.
   • 새로운 기능 지원: PyTorch 2.4 이상에서는 새롭게 도입된 기능들을 활용할 수 있어, 최신 AI 모델을 더 효과적으로 사용할 수 있습니다.
3. PyTorch 설치 또는 업데이트:

   pip install torch==2.4.0 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

1.2 CUDA 버전 확인 및 설치

1. CUDA 버전 확인:

   nvcc --version

2. CUDA 설치: NVIDIA CUDA Toolkit 다운로드 페이지에서 시스템에 맞는 최신 CUDA 버전을 설치합니다.

1.3 PyTorch 및 CUDA 설치 확인

1. 설치된 PyTorch 버전 및 CUDA 버전 확인:

   python -c "import torch; print(torch.__version__); print(torch.cuda.is_available())"

2. Flux 모델 파일 위치 및 설정

2.1 모델 파일 위치 설정

1. UNet 모델: flux1-dev.safetensors 파일을 ComfyUI/models/unet/ 디렉터리에 배치합니다.
2. VAE 및 텍스트 인코더: VAE 파일(ae.sft)을 ComfyUI/models/vae/ 디렉터리에, 텍스트 인코더 파일(t5xxl_fp16.safetensors)을 ComfyUI/models/clip/ 디렉터리에 배치합니다.

2.2 ComfyUI에서 Flux 모델 로드

1. 모델 로드: ComfyUI에서 "Load Diffusion Model" 노드를 사용하여 flux1-dev.safetensors 파일을 로드합니다. 이때 weight_dtype를 fp16 또는 fp8로 설정할 수 있습니다.
2. 메모리 관리: ComfyUI를 --lowvram 옵션으로 실행하거나, 필요한 경우 --highvram 옵션을 사용하여 GPU 메모리를 최대한 활용합니다.

3. Flux 모델 실행 중 발생할 수 있는 문제 해결

3.1 RAM 부족 문제

1. FP8 모델 사용: FP8 버전의 Flux 모델을 사용하면 메모리 사용량을 줄일 수 있습니다.
2. RAM 및 VRAM 최적화: --highvram 옵션을 사용하여 GPU 메모리를 활용하고, 시스템 메모리의 부담을 줄입니다.

3.2 Reconnecting 문제

1. 네트워크 및 메모리 문제: Flux 모델 로드 중 "reconnecting" 오류가 발생할 경우, 이는 주로 메모리 부족 또는 네트워크 연결 문제로 발생합니다.

4. 추가적인 성능 최적화 및 팁

1. ComfyUI 최신 버전 사용: Flux 모델을 사용하기 전, ComfyUI의 최신 버전을 사용하여 성능 개선 및 버그 수정을 적용받을 수 있습니다.
2. 워크플로우 간소화: 한 번에 처리하는 이미지 수를 줄이거나, 이미지 해상도를 낮추어 메모리 사용량을 줄일 수 있습니다.

결론

ComfyUI에서 Flux 모델을 성공적으로 사용하기 위해서는 PyTorch와 CUDA의 올바른 버전 설치와 설정, 메모리 관리, 그리고 모델 파일의 정확한 위치 설정이 필수적입니다. 특히 PyTorch 2.4 이상의 버전은 최신 하드웨어와 기능을 지원하여, 고성능 모델을 더욱 효과적으로 실행할 수 있게 해 줍니다. 이 가이드를 통해 발생할 수 있는 문제들을 효과적으로 해결하고, Flux 모델을 활용하여 고품질 이미지를 생성하는 데 도움이 되길 바랍니다.

참고 자료:

• ComfyUI Flux Examples
• Civitai Flux Workflow
• ComfyUI GitHub Issues