진단 종합, 배포 전략, 전망

비교 요약표

모델	주요 지표	추가 진단 지표	흔한 실패 양상	진단 방법
Dreamer(RSSM)	재구성 FID, 보상 상관관계 ρ	상상 궤적 엔트로피(KL 붕괴 경보)	인코더 퇴화, 상상 보상 왜곡, KL 붕괴	FID 상승: 인코더 학습률 낮추기; ρ 하락: 잠재 차원 늘리기; 엔트로피가 0에 근접: KL 어닐링/자유 비트
MuZero(암묵적)	가치 정확도, MCTS 방문 엔트로피	표현 안정성(코사인 유사도 > 0.95)	가치 추정 편향, 가짜 확신, 표현 불안정	정확도 낮음: 보상 모델 재학습; 엔트로피 판단은 과제의 확률성 맥락을 함께 고려해야 함; 안정성 낮음: 네트워크 폭 늘리기 또는 대조 손실 추가
TD-MPC(잠재 MPC)	잠재 일관성 손실, 계획 효율	잠재 공간 t-SNE 시각화(국소 등거리성)	표현 붕괴, 근시안적 계획	sg 제거 시 손실이 더 낮아짐: 붕괴; 공분산 계수가 낮음: 붕괴; 효율 낮음: 엘리트 비율 늘리기
STORM(Transformer)	토큰 예측 손실, 장기 PSNR	FVD(I3D 특징, 시퀀스 동역학 품질)	teacher forcing 격차, 자기회귀 드리프트	PSNR 급락: 컨텍스트 윈도우 줄이기; 디버깅은 PSNR, 정책 평가는 FVD
Diffusion 월드모델(Diamond)	FVD, 물리 일관성, 동작 조건화 정확도	깊이 위반율(DepthAnything + DINO 자동 평가)	물체 지속성 상실, 3D 관계 역전	깊이 위반율 높음: 3D 제약 도입; 정확도 낮음: 매 층마다 동작 정보 주입

세 가지 실용적인 배포 전략

위험 감수 수준과 시스템 성숙도에 따라, 월드모델을 실전에 배포하는 데는 단계적으로 발전하는 세 가지 전략이 있습니다.

1. 섀도우 평가기(Shadow Evaluator)

실제 정책은 평소대로 실행됩니다. 월드모델은 그 옆에서 독립적으로 미래를 예측해 실제로 일어난 결과와 비교할 뿐, 제어에는 개입하지 않습니다. 이 방식은 "어떤 물체 종류, 어떤 동작 범위, 어떤 접촉 상태에서 모델이 신뢰할 수 없는지"를 체계적으로 찾아내는 데 쓰이며, 이를 통해 신뢰성 지도(reliability map)를 만듭니다. 위험이 가장 낮아 배포 초기 단계에 적합합니다.

2. 동작 필터(Action Filter)

정책이 먼저 여러 후보 동작을 제안하면(예: MPC가 만든 $N$개 궤적, 또는 Actor가 샘플링한 $K$개 동작), 월드모델이 각 동작의 결과를 예측합니다. 여기서 (a) 예측된 결과가 명백히 위험하거나(충돌이나 물체 낙하가 예측되는 경우), (b) 불확실성이 임계값을 넘는(월드모델이 그 결과에 확신이 없다는 뜻) 동작, 이 두 부류를 걸러냅니다. 남은 후보 중 예측 보상이 가장 높은 동작을 실행합니다.

3. 폐루프 플래너 / 상상 학습(Closed-loop Planner / Imagined Training)

월드모델이 MPC 롤아웃이나 상상 롤아웃 안으로 들어가, 온라인 계획이나 정책의 오프라인 학습에 직접 쓰입니다. Dreamer와 TD-MPC의 표준적인 사용법이 이것입니다. 잠재적 이득이 가장 크지만(실제 상호작용 없이도 상상 속에서 방대한 상태를 탐색할 수 있습니다), 위험도 가장 큽니다. 모델 악용, 안전 허점, 분포 변화가 모두 정책 품질에 직접 영향을 미칩니다. 이 전략은 월드모델이 섀도우 평가기 단계를 거쳐 충분히 검증된 뒤에만 권장됩니다.

강의 총정리

네 강의를 거치며, 매 강의는 구체적인 문제 하나씩을 다뤘습니다.

L01: 월드모델의 정의와 기원 상태 추정, 전이, 방출, 예측 질의로 작업 인터페이스를 세우고 렌더링, 시뮬레이션, 계획을 구분한 뒤 Craik의 "심적 모델"(1943)에서 현대의 학습 시스템까지 이어지는 흐름을 살펴봤습니다.

L02: 상태 추정, 관측 인코딩과 잠재 동역학 믿음 상태로 부분 관측에서 숨은 상태를 추정하는 법을 먼저 설명하고, VAE 인코더와 RSSM 동역학을 구현했습니다. 마지막으로 teacher forcing과 자유 롤아웃을 비교해 단일 스텝 정확도가 장기 안정성을 보장하지 않는 이유를 살펴봤습니다.

L03: 아키텍처 패턴, 학습 패러다임과 계획 방법 P02에서 구현한 RSSM을 RNN 계열의 기준선으로 삼아 아홉 아키텍처 계열(RNN/RSSM, Transformer, 확산, JEPA, RWM, 공간 3D/4D, Genie, LoopWM, WAM)을 비교하고, CEM-MPC에서 잠재 Actor-Critic을 거쳐 TD-MPC에 이르는 계획 메커니즘을 살펴봤습니다.

L04: 월드모델 진단하기(이번 강의) 평가란 "채점"이 아니라 "진단"입니다. 아키텍처마다 고유한 실패 양상이 있고, 그에 맞는 지표라야 문제를 드러낼 수 있습니다. 호라이즌 드리프트는 모든 월드모델이 공통으로 겪는 장기적 난제이며, 이를 완화하려면 짧은 호라이즌 학습, 타깃 네트워크, 실제 데이터의 지속적인 보충이 필요합니다.

이론에서 배포로: 전망

월드모델은 엠보디드 AI의 핵심 인프라로 자리 잡아가고 있습니다. 게임 AI(바둑을 정복한 MuZero)든, 로봇 조작(잡기를 학습하는 Dreamer)이든, 자율주행(Wayve의 GAIA)이든, 월드모델은 물리 세계의 동역학을 내재화하고 실제 상호작용의 필요성을 줄이는 핵심 역할을 맡고 있습니다.

하지만 이 커리큘럼이 다룬 내용은 대부분 실험실 규모의 월드모델입니다. 실험실에서 실전 배포로 넘어가려면 아직 풀리지 않은 공학적 과제가 많습니다. 분포 밖 상태에서 어떻게 안전하게 우아한 성능 저하(graceful degradation)를 이룰 것인가, 불확실성을 어떻게 의미 있게 컨트롤러에 전달할 것인가, 실제 운영 중에 치명적 망각 없이 월드모델을 어떻게 지속적으로 업데이트할 것인가 같은 문제들입니다.

이 질문들에는 정해진 답이 없습니다. 하지만 이제 여러분에게는 아키텍처를 이해하고, 실패를 진단하고, 지표를 고르는 능력이 있어, 올바르게 질문할 수 있습니다. 이것이 바로 이 커리큘럼이 전하고자 하는 핵심 역량입니다. 무엇이 옳은 월드모델인지 알려주는 게 아니라, 월드모델이 어디서 잘못되었는지 스스로 판단하는 법을 가르치는 것입니다.

다음 강의

L05에는 코드가 없고 오직 논쟁만 있습니다. 언어는 월드모델의 "아편"일까요, 아니면 꼭 필요한 도구일까요? LLM은 Bitter Lesson을 증명한 승리일까요, 아니면 그것을 배신한 사례일까요? AGI는 정당한 연구 목표일까요, 아니면 거짓 전제일까요? 이 질문들에는 정해진 답이 없기에, 양쪽에서 가장 날카로운 주장들을 펼쳐놓고 판단은 여러분의 몫으로 남겨두겠습니다.

이번 강의에서 다룬 지표를 넘어 표준화된 상호작용 과제에서 월드모델들이 어떻게 비교되는지 보고 싶다면, 상호작용형 예측 과제에서 여러 모델을 정면으로 맞대결시켜 평가하는 커뮤니티 벤치마크 플랫폼인 World Arena를 참고하세요.

P05를 완료하세요: Dreamer, TD-MPC, STORM의 모든 지표를 나란히 보여주는 평가 대시보드를 만들어, 이번 강의의 이론을 직접 실험으로 검증해보세요. 대시보드는 재구성 FID, 보상 상관관계, 일관성 손실, 토큰 예측 손실, 장기 PSNR, FVD, 그리고 잠재 드리프트 곡선 시각화를 다뤄야 합니다.