Demystifying Video Reasoning : 비디오 생성 모델 생각을 한다?

 

AI가 그림을 그리고 영상을 만드는 시대가 됐죠. Sora, Kling, Veo 같은 영상 생성 모델들이 불과 몇 년 사이에 놀라운 수준의 영상을 뚝딱 만들어냅니다. (최근엔 카카오톡 카카나에도 이미지로 영상을 생성하는 기능이 추가됐길래 고양이 사진으로 영상을 만들어 스마트폰 배경 영상으로 설정해 두고 매일 들여다보고 있습니다. ^^;)

 

그런데 최근 연구자들이 이 모델들을 들여다보다가 예상치 못한 발견을 했습니다. 영상 생성 모델이 단순히 멋진 영상을 만드는 것을 넘어서, 논리적인 추론(Reasoning)을 하고 있다는 것이었죠. 

 

그렇다면 그 추론이 모델 내부에서 어떻게 일어나는 걸까요? 2026년 3월 SenseTime, 난양공대, UC버클리, UC샌디에이고, 카네기멜론 대학의 공동 연구팀이 기존의 통념을 뒤집는 새로운 메커니즘을 발견하고 공개한 논문, 'Demystifying Video Reasoning' 은 바로 그것에 대한 해답을 제시합니다.

 

---

1. 기존 방식의 문제점

 

이전 연구들은 비디오 모델의 추론이 Chain-of-Frames(CoF), 즉 '프레임의 연쇄' 방식으로 일어난다고 설명했습니다. 쉽게 말하면, '첫 번째 프레임에서 뭔가 판단하고 → 두 번째 프레임에서 그걸 이어받아 → 세 번째 프레임에서 결론을 낸다'는 식의 순차적이고 시간적인 추론이라는 거죠. 즉, 마치 만화책처럼, 칸(프레임)을 하나씩 넘기면서 이야기가 전개된다고 본 것입니다. 

 

그런데 이런 설명에 대해 연구팀은 과연? 이라며 의문을 품었고, 실험을 통해 이 가설이 전체적인 그림을 설명하지 못한다는 것을 보여줬습니다. 

 

2. 접근 방식

 

연구팀은 VBVR-Wan2.2라는 최신 비디오 추론 모델을 주요 분석 대상으로 삼아 두 가지 핵심 실험을 수행했습니다.

• 중간 잠재 상태 시각화 : 영상 생성 과정의 각 디노이징 스텝(denoising step)에서 모델이 '지금 무엇을 생각하고 있는지'를 이미지로 뽑아 확인했습니다.
• 노이즈 교란 실험 : 특정 프레임에 노이즈를 주입했을 때와, 특정 디노이징 스텝 전체에 노이즈를 주입했을 때 성능이 얼마나 떨어지는지 비교했습니다. 

 

3. 모델/기술 아키텍처

 

논문에서 분석한 모델은 Diffusion Transformer(DiT) 기반의 비디오 생성 모델입니다.

 

비디오 생성 모델은 작동 원리상, 순수한 노이즈(잡음)에서 출발하여 단계적으로 잡음을 제거(denoising)해가면서 최종 영상을 완성합니다. 각 단계에서 모델은 '지금 이 노이즈에서 깨끗한 영상이 어떤 모습일지'를 예측하는 것이죠. 이 과정에서 Transformer 구조가 사용되는데, 특이한 점은 양방향 어텐션(bidirectional attention) 을 통해 매 스텝마다 모든 프레임을 동시에 처리한다는 겁니다. 시간 순서대로 한 프레임씩 처리하는 게 아니라, 전체 영상을 한꺼번에 보면서 추론한다는 것이죠. 이것이 CoF 가설을 반박하는 구조적 근거가 됩니다.

 

그림 : Chain-of-Steps: 미로 탈출 예시

 

 

 

4. 세부 적용 기술

 

1️⃣ Chain-of-Steps(CoS): 핵심 발견

논문의 가장 중요한 발견입니다. 연구팀은 추론이 프레임 축이 아닌 디노이징 스텝 축을 따라 일어난다는 것을 발견하고 이를 Chain-of-Steps(CoS) 라고 명명했습니다. 미로 찾기 문제를 예로 들면, 초기 디노이징 스텝에서는 여러 가능한 경로가 동시에 그려지고(탐색), 중간 스텝에서 잘못된 경로들이 지워지며(가지치기), 최종 스텝에서 올바른 경로 하나가 남는(수렴) 방식입니다.

 

CoS는 두 가지 탐색 방식으로 나타납니다.

• 다중 경로 탐색(Multi-Path Exploration) : 복잡한 논리 과제에서 여러 가능성을 동시에 시각적으로 그려놓고 점차 하나로 좁혀가는 방식
• 중첩 기반 탐색(Superposition-based Exploration) : 여러 상태를 동시에 겹쳐서 표현하다가 점차 하나의 명확한 상태로 확정하는 방식

그림 : 디노이징 과정에서 나타나는 두 가지 탐색 패턴 (다중 경로 탐색(상단)과 중첩 기반 탐색(하단))

 

2️⃣ 세 가지 창발적 추론 행동

LLM(대형 언어 모델)에서 관찰된 것과 놀랍도록 유사한 행동이 비디오 모델에서도 발견됐습니다.

• 작업 기억(Working Memory) : 중요한 정보를 생성 과정 전체에 걸쳐 유지하는 능력입니다. 예를 들어, 물체가 화면 밖으로 나갔다가 다시 돌아올 때 원래 위치를 기억하거나, 다른 물체에 가려진 물체의 상태를 계속 추적하는 것이죠.
• 자기 수정 및 향상(Self-Correction and Enhancement) : 초기 스텝에서 잘못된 답을 생성했다가 이후 스텝에서 스스로 고치는 능력입니다. LLM의 'slow thinking'이나 내부 역추적과 기능적으로 동일합니다.
• 행동 전 인식(Perception before Action) : 초기 스텝에서 먼저 '무엇이, 어디에 있는지'를 파악한 뒤, 이후 스텝에서 비로소 '어떻게 조작할지'를 결정하는 두 단계 패턴입니다.

그림 : 창발적 추론 행동 - 기억과 자기 수정 행동 예시

 

3️⃣ DiT 내부의 레이어별 기능 분화

단일 디노이징 스텝 안에서도 레이어에 따라 역할이 나뉜다는 것이 밝혀졌습니다.

• 초기 레이어(0~9) : 배경과 전경을 구분하는 등 전반적인 시각 구조를 파악하고,
• 중간 레이어(10~29 특히 20~29) : 실제 추론과 의미적 판단을 수행하며,
• 후기 레이어 : 다음 스텝을 위한 잠재 표현을 최종 정리합니다.

레이어 스와핑 실험을 통해 21번 레이어의 표현만 바꿔도 모델의 최종 판단이 완전히 뒤집힌다는 인과적 증거도 제시됐죠.

 

그림 : 레이어 전문화 - (상) 토큰 활성화 히트맵 (하) 레이어 스와핑 실험

 

 

4️⃣ 학습이 필요없는 앙상블(Training-Free Ensemble)

이론적 발견을 실용적으로 활용한 방법론입니다. 동일한 모델을 서로 다른 랜덤 시드로 세 번 실행하여, 첫 번째 디노이징 스텝에서 중간 레이어(20~29)의 잠재 표현을 평균 냅니다. 이렇게 하면 각 실행에서의 편향이 상쇄되고 더 안정적인 추론 출발점이 만들어집니다. 추가 학습 없이도 VBVR-Bench에서 성능이 0.685에서 0.716으로 약 2% 절대적 향상을 달성했습니다.

 

5. 제약사항

• 프레임 수가 17개 이하로 줄어들면 성능이 눈에 띄게 하락합니다. 추론이 스텝 축에서 일어나더라도 프레임이 '작업 공간' 역할을 하기 때문입니다.
• 4-step 증류 모델에서는 노이즈 스케줄러가 초기 스텝의 잠재 탐색 단계를 너무 빠르게 압축해버려 추론 신호가 관찰하기 어려워지고 VBVR-Bench 성능이 0.685에서 0.605로 크게 하락했습니다.
• 앙상블 방법의 2% 향상은 유의미하지만, 인간 수준(0.974)과는 아직 큰 격차가 있습니다.
• 분석 대상이 VBVR-Wan2.2 중심이어서 다른 아키텍처로의 일반화 여부는 추가 검증이 필요합니다.
• 앙상블을 위해 동일 모델을 세 번 실행해야 하므로 추론 비용이 3배 증가한다는 실용적 제약도 있습니다.

 

---

 

이 논문은 비디오 생성 모델의 추론 메커니즘에 대한 우리의 이해를 근본적으로 바꿔놓습니다. 추론이 시간의 흐름(프레임) 위에서 펼쳐지는 게 아니라, 생성 과정(디노이징 스텝) 위에서 펼쳐진다는 Chain-of-Steps 발견은 상당히 놀랍습니다.

 

특히 작업 기억, 자기 수정, 행동 전 인식이라는 세 가지 행동이 언어 모델에서 관찰된 것과 유사하게 나타난다는 점은, 비디오 모델이 단순한 영상 생성기가 아니라 일종의 '공간-시간적 사고 기계'로서의 가능성을 보여줍니다.

 

생물학적 뇌와의 유사성도 흥미롭습니다. 쥐가 먹이를 찾기 전 해마에서 여러 경로를 미리 시뮬레이션하는 것처럼, 비디오 모델도 초기 스텝에서 여러 해답을 동시에 탐색한 뒤 점차 수렴하는 방식으로 추론한다는 것은 지능의 보편적인 패턴일 수 있습니다. 비디오 생성 모델이 차세대 AI 추론의 새로운 기반이 될 수 있다는 가능성을 연 연구라 할 수 있겠습니다.

---

참고자료

• 사이트) Demystifying Video Reasoning 프로젝트 (링크)
• 논문) Demystifying Video Reasoning (링크)

 

용어 정리

• 디노이징 스텝(Denoising Step) : 순수 노이즈에서 깨끗한 이미지/영상으로 변환하는 반복 과정의 각 단계. 보통 수십~수백 번 반복됩니다.
• 잠재 공간(Latent Space) : 모델이 내부적으로 데이터를 표현하는 압축된 고차원 공간. 실제 픽셀이 아닌 추상적인 특징 벡터들의 공간입니다.
• Flow Matching : 노이즈에서 데이터로 이어지는 연속적인 경로(흐름)를 학습하는 확산 모델 학습 방식.
• 행동 전 인식(Perception before Action) : 초기 스텝에서 먼저 '무엇이, 어디에 있는지'를 파악한 뒤, 이후 스텝에서 비로소 '어떻게 조작할지'를 결정하는 두 단계 패턴입니다.CKA(Centered Kernel Alignment) : 두 신경망 표현이 얼마나 유사한지 측정하는 지표. 값이 1에 가까울수록 표현이 완전히 달라졌음을 의미합니다.
• LoRA(Low-Rank Adaptation) : 대형 모델을 효율적으로 파인튜닝하기 위한 경량 어댑터 기법.

 

---

 

Q&A

 

Q. CoS(Chain-of-Steps)와 기존 CoF(Chain-of-Frames)의 차이가 실제로 그렇게 중요한가요?

매우 중요합니다. 만약 추론이 CoF 방식으로 일어난다면, 추론 성능을 높이려면 더 많은 프레임을 만들거나 프레임 간 인과 관계를 더 정교하게 설계해야 합니다. 반면 CoS가 맞다면, 디노이징 스텝 수와 각 스텝의 품질을 최적화하는 방향이 훨씬 효과적입니다. 실제로 이 논문에서 제안한 학습이 필요치 않은 앙상블이 '중간 레이어의 첫 번째 스텝'을 타겟으로 삼아 성능을 올린 것이 바로 이러한 이해에서 나온 것입니다. 

 

Q. 비디오 모델이 이런 추론 능력을 갖추게 된 이유는 무엇인가요?

논문은 이를 명시적으로 학습시킨 것이 아니라 창발(emergent) 현상으로 봅니다. 대규모 데이터로 학습하는 과정에서 자연스럽게 발생한 능력이라는 것이죠. 

 

특히 양방향 어텐션으로 전체 프레임을 동시에 처리하는 구조가 이런 추론에 유리한 것으로 보이며, 이는 LLM에서 체인-오브-소트(CoT)가 창발한 것과 유사한 맥락입니다. 게다가 테슬라의 자율주행이 대규모 데이터를 이용한 End-to-End 방식으로 변경된 것도 이와 관련될 수 있지 않을까 싶습니다. 

 

Q. 학습 불필요 앙상블(Training-Free Ensemble)의 2% 향상이 실용적으로 의미 있는 수치인가요?

절대적 수치로 2%는 작아 보일 수 있지만, 이미 강력한 베이스라인(0.685) 위에서 추가 학습 없이 달성한 것이라 충분히 의미 있습니다. 특히 이 방법은 어떤 학습 데이터도, 파라미터 수정도 필요 없이 추론 시점에서만 적용 가능하기 때문에 실용적입니다. 다만 모델을 3번 실행해야 하는 비용은 실제 배포 환경에서 고려해야 할 트레이드오프라고 할 수 있습니다.