동영상 보간 작업 쉽게하기, Flowframes 설치 및 사용법

요즘 Stable Diffusion으로 그림 만드는 생활을 하다가 동영상을 만드는 단계로 넘어가고 있습니다.
AI로 동영상을 생성하는 방법을 공부하면서 24프레임 이상으로 작업을 하게 되면 컴퓨터 사양에 따라 틀리겠지만 상당히 많은 시간이 소모가 되는데요. 10프레임으로 이미지 편집을 하고 보간 프로그램으로 프레임을 올려주면 작업시간도 단축되고 영상의 결과도 좋아질 수 있습니다. 보간 프로그램 중에서 AI model을 이용하여 더 좋은 결과물을 뽑을 수 있는 Flowframes에 대해 소개하고자 합니다.

 

1. 프레임 보간에 대해

프레임 보간이란? 실시간 렌더링된 영상의 프레임을 올려주는 작업을 말합니다. 동영상을 렌더링해보면 화면이 멈칫하면서 순간이동하는 거 마냥 떨리는 느낌의 화면을 볼 수가 있는데 이런 현상을 줄여주고 자연스럽게 만들어줍니다. 보통 24프레임보다 적은 프레임으로 렌더링된 영상을 돌려보면 그런 현상을 느낄 수 있는데 10프레임을 30프레임으로 30을 60프레임으로 보간 할 수록 영상의 자연스러운 움직임을 느낄 수 있습니다. 프레임 보간은 영어로 Motion Interpolation이라고 합니다.

 

이 프레임 보간을 도와주는 소프트웨어로 여러가지가 있는데 국산 프로그램으로는 다음팟이 있겠고, 국산은 아니지만 Flowframes가 AI 보정기술로 더 좋은 결과물을 얻을 수 있고 가볍게 설치하고 사용할 수 있어서 선택하게 되었습니다.

 

2. Flowframes 설치하기 (무료)

구글에서 Flowframes로 검색하면 찾으실 수 있고요. https://nmkd.itch.io/flowframes 이 링크를 타고 가시면 됩니다.

Download Now 버튼을 눌러서 "No thanks, just take me to the downloads" 를 선택해줍니다. 나중에 돈 많이 벌면 구매해주세요!

Flowframes 무료로 다운로드하기

2.47MB 바이트의 작은 용량인 설치파일을 받아서 실행해줍니다.

설치 과정에서 본인 컴퓨터 사양에 맞는 그래픽카드를 설정해주어야 합니다. Nvidia 그래픽카드가 장착된 PC라면 해당 드라이버로 설치해주고 무엇인지 모르겠다면 설치 프로그램이 자동으로 찾도록 선택해줍니다.

 

3. Flowframes 사용하기

실행한 화면은 아래와 같이 확인할 수가 있습니다. 크게 건드릴 옵션은 없구요. 가장 중요한 보간 작업은 Interpolation에서 진행합니다.

Flowframes > Interpolation

1) Interpolation AI : 동영상 보간 작업에 선택  AI network를 선택해줍니다. AI마다 화질, VRAM 요구사항 및 속도가 틀리다고 하지만 선택지가 분명히 있습니다. NVDIA 계열의 그래픽카드를 사용하신다면 Nvidia Only 선택해주는 것이 좋습니다.

 

2) Input Video (Or Frames Folder) : 작업을 진행할 이미지가 들어있는 폴더나 동영상을 선택합니다. 드래그앤드롭도 지원합니다.

 

3) Output Directory : 작업이 완료된 결과를 저장할 폴더를 지정합니다.

 

4) Output FPS and Speed : 결과물을 몇 프레임으로 작업할지 지정하는 곳입니다.

위의 2)번에서 이미지를 넣은 폴더를 지정했다면 현재 몇 프레임인지 정보가 안나오지만, 동영상으로 지정하면 현재 몇 프레임인지 확인할 수 있습니다. 이미지를 지정했다면 추출 또는 프레임 작업시 설정한 프레임을 지정하면 됩니다. 저는 720X1280 해상도의 이미지를 10프레임으로 추출한 이미지 모음을 Input 폴더로 지정하고 x3 하여 30FPS의 결과물을 얻기 위해 입력했습니다.

Flowframes Video Interpolator : 10 Fps x3   =  30 FPS 로 Normal Speed 로 보간 설정

5) AI Model : 보간작업 시 사용할 인공지능 선택항목입니다. AI 모델에 따라 약간씩 다른 결과가 나옵니다. 모델 별 차이를 잘 모르겠으니 권장하고 있는 가장 최신 버전인 RIFE 4.0을 선택해줍니다.

Flowframes Video Interpolator - AI Model : RIFE - Latest General Model (Supports Transparency)

6) Output Mode : 동영상 파일 형식을 선택합니다. 취향 껏 선택 하시면 됩니다.

Flowframes Video Interpolator : Output mode

7) 보간 작업을 위한 세팅이 마무리 되었다면 왼쪽 하단에 " Interpolate! "를 눌러주면 앱 하단에 작업이 진행되는 내용이 보입니다.

 

4. 마무리

동영상 렌더링 과정에 한가지 팁을 드리자면 처음부터 30FPS 작업물로 진행하면 생각보다 영상의 결과물이 만족스럽지 못할수가 있고 작업시간이 더 길어질 수 있습니다. 그만큼 손 대야하는 이미지가 많아지니까요. 그래서 이미지 작업은 10 FPS로 추출하여 보정하고 Flowframes를 이용해서 10FPS -> 30FPS -> 60FPS 순으로 보간 작업을 하시기를 추천드립니다. 영상의 부드러움이 확연하게 나아지는게 느껴지실 겁니다!