Share
Sign In
AI를 여행하는 히치하이커를 위한 가이드
5부. 비디오 프롬프트 : 영화에서 빌려오기
[그림] 라스코 동굴 벽화의 들소와 피카소의 황소
우리의 시각 언어는 어디에서 시작되었을까요? 라스코 동굴 벽화에 그려진 들소는 마치 살아 있는 듯 생생하게 표현되었지만, 이후 피카소의 황소는 형태를 단순화하여 본질만을 남겨두었죠. 닮은 듯, 서로 다른 인류의 작품들 속에서 우리는 다양한 힌트를 얻을 수 있습니다.
[비디오] 피카소의 황소, 리마스터 드로잉 by Luma
[비디오] 피카소의 황소, 리마스터 드로잉 by Gen-3
때로는 현실적으로, 때로는 추상적으로 인류는 다양한 시각 언어를 사용해 일상과 생각을 표현해 왔습니다.
동굴 벽화에서 회화로, 사진과 영화와 컴퓨터 그래픽으로, 무성영화에서 유성영화로, 흑백에서 컬러로, 인류의 시각 매체와 형태, 시각 정보의 표현과 압축 방식은 끊임없이 진화해 왔습니다.
이미 텔레비전에서 케이블로, 유튜브로, 넷플릭스로, 그리고 라이브 스트리밍과 쇼츠로 빠르게 전환되는 거대한 흐름을 목격하셨다면, 지금 비디오 생성이라는 새로운 시대의 문턱 앞에 우리가 AI라는 파트너와 함께 서 있다는 것도 알고 계실 것입니다.
사진이라는 도구는 전통적인 회화 영역에서 빛과 색채, 구도와 현실에 대한 해석을 가져왔습니다. 이후 영화는 사진 영역에서 다양한 프레이밍 기법과 조명, 렌즈, 그리고 현실 재현의 기법을 차용해 왔죠. 이렇게 다음 세대는 이전 세대에 고마움과 빚을 지고 힘차게 나아갑니다.
그리고 이제 우리도 21세기의 영화에서 무엇인가를 빌려와야 할 시간입니다.
경이로운 영화 산업으로부터
영화는 거대 자본을 기반으로 다양한 분야 최고 수준 전문가들이 기술적 완성도와 예술적 표현을, 가장 역동적으로 추구하는 분야입니다.
우리가 경험하게 될 AI 비디오 프로세스는 사실 이 거대한 영화 산업의 작은 축소판입니다. 동시에 인류가 쌓아온 모든 시각 예술 언어의 축약본, 또는 엑기스이기도 합니다. 이제 이 거대하고 농밀한 산업을 개인과 저자본의 소규모 팀에서도 정말 간단하게, 낮은 비용으로 사용해 볼 수 있게 된 것이죠.
비록 우리가 헐리우드 프로젝트에 직접 참여하지는 않았지만, 그 제작 과정은 어느 정도 유추할 수 있습니다. 수많은 영화와 드라마, 코미디, 넷플릭스와 유튜브를 시청해 왔기 때문이에요. 그래서 아래도 어렵지 않게 이해하실 수 있을 거예요.
먼저 이 거대한 프로세스를 간단히 세 단계로 압축해 볼게요.
영화 제작 3단계
1.
기획 단계 (Pre-Production)
스토리 개발 : 시나리오, 스크립트
비주얼 개발 : 스토리보드, 로케이션 스카우트, 세트 및 소품 디자인과 제작
계획 수립 : 리서치, 예산 계획, 일정 계획, 라인 계획, 팀 구성, 캐스팅
2.
생성 단계 (Production)
준비 작업 : 세트 설치, 조명 및 소품 준비, 운송, 현장 관리, 음원 제작
연기 : 대본 리딩, 리허설, 배우 및 엑스트라 연기
촬영 : 감독 연출, 카메라 워크, 현장 모니터링, 데이터 관리
3.
편집 단계 (Post-Production)
영상 편집 : 특수효과, 컷 편집, 장면 전환
후반 작업 : 색 보정, 후시 녹음, 사운드 믹싱, 자막 및 그래픽 추가
완성 : 최종 편집, 마케팅, 배급, 상영
위의 복잡한 프로세스에 아래와 같은 수많은 전문 인력이 참여하여 고도의 기능을 수행하죠.
영화 제작 전문인력
제작 및 감독 : 제작자, 프로듀서, 감독, 조감독, 라인 프로듀서, 캐스팅, 운송 팀
촬영 및 조명 : 촬영 감독, 카메라 오퍼레이터, 조명 감독, 키 그립, 그립
오디오 사운드 : 음향 감독, 음향 디자이너, 붐 오퍼레이터, 음향 믹서
미술 및 의상 : 미술 감독, 의상 디자이너, 소품 매니저, 세트 디자이너
후반 작업 및 편집 : 필름 에디터, VFX 아티스트, 사운드 에디터
[비디오] the Red Bull by Gen-3
그런데 여기 수많은 전문가들의 영역에 AI의 기능이 제대로 작동하기 시작했습니다. 앞으로 우리가 사용하게 될 모든 비디오 생성 프롬프트는 위 영화 전문가들이 실제로 사용하던 노하우에서 비롯된 것입니다.
영화에서 빌려온 비디오 프롬프트
예를 들어, 그들이 촬영 현장에서 사용하던 아래와 같은 키워드들 말이죠.
Long Shot / Medium Shot / Close-Up: 장면의 크기와 인물의 비중을 결정하는 프레이밍 기법
Zoom In / Zoom Out : 카메라의 렌즈를 이용해 피사체에 가까워지거나 멀어지는 효과
Dolly In / Dolly Out : 카메라 자체를 움직여 피사체에 다가가거나 멀어짐
Pan Shot / Tilt Shot : 카메라를 좌우(Pan)나 상하(Tilt)로 회전시켜 장면을 따라감
Crane Shot : 크레인을 이용해 카메라를 높이 들어 올리거나 내리며 촬영
Steadicam Shot : 안정화 장치를 이용하는 부드러운 이동 촬영
Over the Shoulder Shot : 한 인물의 어깨 너머로 다른 인물을 촬영하는 입체적 구도
Point of View (POV) Shot : 특정 인물의 시점을 그대로 보여주는 촬영 방식
High Angle / Low Angle : 카메라를 높은 위치나 낮은 위치에서 촬영하여 장면의 분위기를 조절
Dutch Angle : 카메라를 기울여 불안정하거나 긴장감 있는 분위기를 연출
High Key Lighting / Low Key Lighting : 조명의 강약을 조절하여 밝거나 어두운 분위기를 연출
BackLit: 피사체 뒤에서 조명을 비추는 실루엣 효과
이러한 전문 프롬프트를 통해 여러분의 의도를 더욱 정확하게 전달하고, 원하는 영상을 생성할 수 있습니다.
혹시 여러분께서 알고 계신 영화 촬영이나 편집 용어가 있다면, AI 비디오 생성 과정에 적극적으로 활용해 보세요. 원하는 결과물을 얻을 확률이 더 높아집니다.
AI 파트너와 함께
우리의 AI 파트너는 영화 제작 프로세스를 간소화하고, 기술 장벽을 현저하게 낮추어 주고 있습니다. 구체적으로 아래와 같은 분야에서 말이죠.
AI 파트너의 협업 분야
이미지 및 비디오 AI : 스토리보드 작성, 배우 캐스팅, 엑스트라 섭외, 로케이션 스카우팅, 세트 제작, 소품 제작, 의상 제작, 헤어 및 메이크업, 운송, 감독의 연기 지시, 베테랑 배우의 연기, 조명 연출, 카메라 워크, 드론 촬영, 현장 모니터링, VFX 제작, 간단한 컷 편집, 후보정 등
사운드 AI : 배경 음악 BGM, 오리지널 사운드 트랙 OST, 효과음, 특수 음원, 목소리 생성, 대본 리딩, 음성 합성 등
LLM AI : 시나리오, 스크립트, 기획, 리서치, 기술 자문, 이미지와 비디오 프롬프트 지원 등
거의 모든 영역이군요.
이미지와 비디오 AI는 개인이나 소규모 팀에게 엄청난 기회를 제공하고 있습니다. 특히 현장 촬영의 생략만으로도 어마어마한 시공간적 비용을 절약할 수 있습니다.
제가 참여한 15분 분량, [Mateo]라는 이름의 AI 뮤지컬 드라마도 현장 촬영 없이, 영상에서 사운드까지 오직 AI만으로 완성되었습니다. (10월 중 릴리스)
비디오로 연출하려는 모든 프레임을 먼저 Midjourney 이미지로 생성하여, 스토리보드를 구축합니다. 실존 배우와 엑스트라 없이도 감동적인 구도를 연출하며, 다양한 각도에서 반복하여 연기하게 만들 수 있습니다. 해외 로케이션뿐만 아니라, 우주나 가상 공간의 세트도 쉽게 설정할 수 있고, 인류 역사상 전례 없는 의상과 메이크업, 특수 분장도 프롬프트 몇 줄로 연출할 수 있습니다. 필요에 따라 낮과 밤을 갑자기 바꾸거나, 배우의 동작과 감정을 즉시 바꾸고, 카메라 필터를 편집 단계에 교체하는 것도 가능합니다.
AI는 기존 시스템을 완전히 대체하는 것이 아니라, 장벽을 낮추고, 비용을 감소시키며, 새로운 시도를 더 가능하게 하고 있습니다.
이제 본격적인 다음 장으로 넘어가기 전에 영화, 사진, 회화, 그리고 동굴 벽화 분야에서 활동했던 모든 예술가에게 존경과 감사의 마음을 전해야 겠습니다.
[비디오] handmade cave painting by Gen-3
비디오를 만드는 프로세스
생성형 비디오를 강의하다 보면, 수강생 분들의 눈빛에서 모든 제작 과정이 AI의 힘을 빌려 뚝딱 완결될 것 같은 기대감을 마주하게 됩니다. 물론 비디오가 쉽게 생성되긴 하지만, 그것만으로 모든 것이 완성되지는 않습니다.
앞서 살펴본 영화 산업의 제작 단계와 마찬가지로, AI 비디오도 일련의 단계를 거칩니다.
비디오 생성 도구를 사용하기 전에 스토리를 기획하고, 스토리보드를 그려보고, 필요한 다양한 이미지를 생성하는 것이 필요합니다. 그런 다음에 프롬프트로 비디오를 생성하게 되죠. 잘 생성된 비디오도 최소한의 컷 편집을 해야 합니다. 필요에 따라 사운드나 립싱크도 맞추고, 감정선 유지에 필요한 새 비디오를 다시 생성하기도 합니다.
따라서 반드시 아래의 단계를 체크하시기 바랍니다.
[1] 기획 단계 (Pre-Production)
거의 대부분의 수강생들은 마음이 급해, 바로 비디오 생성부터 하곤 합니다. 저도 그랬구요. 하지만 비디오를 생성하기 전에, 가능한 기획 단계를 체계적으로 수행하시기 바랍니다.
먼저 비디오의 컨셉을 구상하고 준비합니다. 비디오의 목적과 대상을 명확히 정의하고, 전달하려는 구체적인 메세지를 다듬습니다.
Midjourney 와 같은 이미지 생성 도구를 사용하면, 전문가 레벨에서 이미지 레퍼런스를 구성해 볼 수 있습니다. 캐릭터의 외모, 복장, 표정과 동작, 배치에서 감정의 연출까지, 섬세한 정보를 담은 스토리보드로 모든 장면을 시각화할 수 있습니다.
[2] 생성 단계 (Production, Generating)
이제 본격적으로 Gen-3와 같은 AI 도구를 이용해서 비디오를 생성하는 단계입니다. 텍스트 프롬프트를 이용해 비디오를 생성하는 방법(T2V)과 미리 준비한 이미지 레퍼런스를 기반으로 비디오를 만드는 방법(I2V)이 있습니다. 또 이미 준비된 비디오의 스타일을 변형하는 비디오-투-비디오(V2V) 기술도 제공되기 시작했습니다.
T2V 방식은 비디오를 텍스트로 설명하는 기본적인 방법이지만, 영상의 모든 요소를 문자로 설명하는 것은 어렵고 한계가 있습니다. 이는 텍스트로 이미지 생성하기(T2I)의 어려움과 유사합니다.
I2V 방식은 이미지 생성 도구를 사용해 비디오를 생성하는 방법으로, 비디오의 이미지와 컨셉을 명확하게 컨트롤할 수 있습니다. 피사체의 배치, 캐릭터의 외형과 동작, 변화 요소, 컬러와 화풍 등을 직접적으로 조절할 수 있다는 장점이 있습니다.
V2V 기술은 아직 초기 단계로, 주로 비디오의 스타일을 변환하는 수준에서 작동하고 있습니다. Gen-3 에서도 사용 가능해졌어요.
여러 방식을 결합하여 사용하면 더욱 풍부하고 세밀한 비디오를 만들 수 있습니다. 예를 들면, 텍스트로 전체적인 스토리와 변회를 설명하고, 핵심 톤앤매너는 이미지를 활용하는 방식입니다.
최근 대부분의 AI 도구는 이미지를 비디오로 변환하는 기능(I2V)을 지원하고 있어, 아름다운 이미지를 레퍼런스로 활용하는 것이 가능해졌습니다. 이전 단계에서 배운 이미지 프롬프트 작성 기술을 활용해 프롬프트로 멋진 이미지를 만든 후, 이를 기반으로 비디오를 생성하면 더욱 풍부하고 일관된 영상을 만들 수 있습니다.
특히 Midjourney의 SREF, CREF 기능을 활용한다면, 비디오의 일관된 톤과 무드, 동일한 캐릭터를 유지하는 데에 정말 큰 도움이 됩니다. 저는 AI 비디오가 보여주는 시각적 아름다움의 80%는 이미지 레퍼런스에서 이미 결정된다고 생각하고 있습니다.
[3] 편집 단계 (Post-Production)
비디오 생성 과정에서 AI의 도움으로 모든 제작 과정이 완결될 것 같은 기대감을 가질 수 있지만, 실제로는 생성된 비디오를 최소한으로 컷 편집하고, 필요에 따라 사운드를 싱크하는 과정이 필요합니다.
[비디오] push in rough breathing by Gen-3
오디오는 영상에 감성과 깊이를 더해줍니다. 적절한 배경 음악은 장면의 분위기를 극대화하고, 효과음은 현실감을 더해줍니다. Suno, Udio 등의 AI 음악 생성 도구를 활용하면, 영상에 맞춤화된 독특한 사운드트랙을 만들 수 있습니다.
전문 비디오 편집 소프트웨어를 사용한 영상 편집 과정은 재료를 다듬어 완벽한 조각상을 만드는 것과 같습니다. Adobe Premere Pro, FinalCut Pro, 또는 무료 도구인 CapCut을 이용하여 불필요한 부분을 잘라내고, 속도를 조정하고, 장면 간 전환을 매끄럽게 하며, 색 보정을 통해 영상의 전체적인 톤과 무드를 일관되게 만들어 주세요.
벽화, 회화, 사진, 영화, 그리고 넥스트
‘터미네이터’, ‘타이타닉’, ‘에일리언’, ‘아바타’ 로 유명한 영화계의 거장, 제임스 카메론(James Cameron) 감독이 최근 Stability AI의 이사회에 참여하게 되었는데, 이는 상당히 주목할 만한 소식입니다(2024.09.24). Stability AI는 Midjourney와 함께 가장 강력한 AI 이미지 생성 도구인 Stable Diffusion의 개발사이기 때문입니다.
이미 첨단 기술과 혁신적 시각 효과로 블록버스터 헐리우드를 이끌어 왔기에, 지금 AI를 선택하는 것이 그에게는 어쩌면 너무나도 당연한 선택일 지도 모릅니다. 하지만 AI관련 파업 등 예민한 이슈가 여전히 남아 있는 상태에서, 영화 업계 대부분이 AI 행보에 상당히 소극적이었던 것에 비하면 매우 과감한 선택이기도 합니다.
머지 않아, 우리는 카메론 감독이 AI와 함께 제작한 ‘아바타 4’를 만나게 될까요? 그리고 그가 보여주었던 장대한 스토리 앞에 AI 도구가 혹시 그 어떠한 문제라도 될까요? 물론 영화 전문가들이 비디오 AI를 더 잘 사용하게 될 것이라는 것은 너무나도 당연한 일인 듯 싶습다.
이는 단순한 기술의 발전을 넘어, 이야기를 전달하고 경험을 공유하는 방식의 교체를 의미합니다. 우리 모두가 자신의 이야기를 일상적으로 비디오로 표현하고, 세상과 소통할 수 있는 시대가 열렸습니다.
[비디오] the Man facing a Bull by Gen-3
다음 편에서는 비디오 프롬프트에 대한 더 깊은 이야기를 나눠보겠습니다. 영화에서 사용되던 프롬프트를 어떻게 AI 비디오 생성에 활용할 수 있는지, 그리고 어떻게 사용해야 하는지 탐구해 보겠습니다.
🍀 상상과 아이디어를 시각화하는 AI 비주얼 디렉터, 민트베어
Gen-3 비디오 프롬프트 북 ➡️ https://slashpage.com/gen3
