월드모델이란 무엇인가: 인터페이스, 렌더링, 시뮬레이션, 계획

모델이 사실적인 비디오를 생성하면 월드모델일까요? 로봇 정책이 행동의 결과를 예측하지 않고 곧바로 행동을 출력한다면 그 안에 월드모델이 있다고 할 수 있을까요? 데이터로 학습하지 않았지만 충돌을 정확히 시뮬레이션하는 물리 엔진은 어디에 놓아야 할까요?

이 질문들은 모델 이름만으로 답할 수 없습니다. 시스템이 무엇을 표현하고 예측하는지, 행동이 예측의 조건인지, 의사결정기가 그 예측을 어떻게 쓰는지 확인해야 합니다. World Labs의 렌더러-시뮬레이터-플래너 구분은 기능적 관점을 제공합니다. 이 페이지는 여기에 강좌 전체에서 코드까지 추적할 수 있는 인터페이스 관점을 더합니다.

강좌 전체에서 사용할 작업 계약

강화학습의 POMDP 프레임워크는 기본 순환을 제공합니다. 에이전트가 행동하면 숨은 세계 상태가 바뀌고, 상태가 관측을 만들며, 관측이 다음 행동에 영향을 줍니다. 상태는 미래의 변화를 결정하는 환경 변수를 담고, 관측은 센서가 에이전트에게 제공하는 불완전한 증거입니다. 이 차이는 L02에서 더 자세히 다룹니다.

이 강좌는 월드모델을 점검하고 교체할 수 있는 인터페이스의 집합으로 봅니다.

인터페이스	입력과 출력	답하는 질문
상태 추정 또는 인코딩	관측과 이력 → 잠재 상태	세계는 지금 어떤 상태일 가능성이 있는가?
전이 모델	잠재 상태와 행동 → 다음 상태 분포	이 행동을 하면 무엇이 일어나는가?
방출 또는 디코딩	잠재 상태 → 관측 가능한 양	이 상태는 어떻게 보이는가?
예측 질의	이력과 후보 행동 → 미래 궤적 또는 과제 신호	현재 결정에 어떤 미래가 중요한가?

모든 시스템이 네 인터페이스를 명시적으로 구현하는 것은 아닙니다. JEPA는 픽셀을 재구성하지 않아도 되고, MuZero는 계획에 필요한 양만 예측하며, 물리 시뮬레이터의 전이는 신경망이 아니라 방정식에서 나옵니다. 이 계약의 목적은 예외를 배제하는 것이 아닙니다. 시스템이 무엇을 생략하거나 교체했는지, 다운스트림 구성요소가 예측을 어떻게 쓰는지를 구체적으로 비교하게 해줍니다.

흔한 오해

앞서 세운 계약을 두고 반복해서 나타나는 세 가지 오해가 있습니다. 짚고 넘어갈 만합니다.

"월드모델은 그냥 비디오 예측기다." 비디오 예측은 방출 인터페이스가 취할 수 있는 여러 형태 중 하나일 뿐, 시스템 전체가 아닙니다. 픽셀만 예측하고 행동을 조건으로 삼지 않으며 "이 행동을 하면 어떻게 되는가"를 묻는 전이 질의를 전혀 지원하지 않는 모델은 렌더러를 만든 것이지, 이 강좌가 다루는 전이와 질의 인터페이스를 갖춘 것이 아닙니다. 근본 원인은 가장 눈에 띄는 출력, 즉 비디오를 정의 자체로 착각하는 데 있습니다. 실제 정의는 어떤 인터페이스가 존재하고 그것이 어떤 예측을 뒷받침하는지에 관한 것입니다.

"관측을 재구성하지 않는 시스템에는 월드모델이 없다." 위 인터페이스 표의 두 번째 열이 이미 답을 담고 있습니다. JEPA는 픽셀로 디코딩하지 않아도 상태 추정기와 전이 모델을 가질 수 있고, MuZero는 계획에 필요한 가치와 보상 신호만 예측할 뿐 이미지를 출력하지 않습니다. 재구성은 여러 방출 인터페이스 가운데 하나일 뿐, 필수 조건이 아닙니다.

"명시적인 예측 단계 없이 행동을 출력하는 정책에는 월드모델이 있을 수 없다." 이는 아키텍처와 기능을 혼동한 것입니다. 전이 모델이 이름 붙은 독립 모듈이든, 엔드투엔드 정책 내부의 은닉 표현이든, 손실 함수에 암묵적으로 들어 있는 항이든, 진짜 물어야 할 질문은 시스템이 결과를 예측하고 그 예측에 행동을 조건화하는지 여부입니다. LeCun이 VLA 아키텍처를 비판하는 핵심도 바로 이 지점입니다. VLA는 방대한 파라미터를 갖고 있지만 진짜로 낯선 상황을 추론할 내부 전이 모델이 없어서 결국 암기된 패턴 매칭에 의존하게 됩니다.

세 오해는 모두 같은 뿌리를 공유합니다. 픽셀 입출력이나 특정 이름이 붙은 모듈 같은 눈에 보이는 구현 세부사항을, 기능적 계약 그 자체로 착각하는 것입니다. 이 페이지의 나머지 부분은 세 가지 구체적인 기능 유형을 통해 이 계약을 추적합니다.

세 가지 기능적 월드모델

컴퓨터 비전, 로보틱스, 강화학습, 생성 AI 등 여러 분야가 저마다 "월드모델"을 개발하고 있다고 말하지만, 각 분야가 가리키는 것은 전혀 다릅니다. 이러한 혼란의 근본 원인은 "세계" 자체에 대한 정의가 모호하다는 데 있습니다.

오늘날 "월드모델"이라 불리는 다양한 시스템은 본질적으로 이 순환 구조에서 서로 다른 출력을 만들어내는 것일 뿐입니다. 이를 토대로 Fei-Fei Li의 글은 세 가지 기능적 유형을 구분합니다.

렌더러: 사람이 이해할 수 있는 관측을 출력

렌더러의 임무는 관측 정보를 출력하는 것으로, 보통 픽셀 형태로 나타납니다. 렌더러는 이미지가 얼마나 그럴듯해 보이는가, 즉 시각적 품질로 평가됩니다.

텍스트-투-비디오 모델(Veo, Sora)은 렌더러입니다. 상호작용형 생성 시스템(Genie, World Labs의 RTFM)도 렌더러입니다. 이들의 공통점은 3차원 구조에 대한 명시적 이해가 없다는 것입니다. 이들이 보여주는 것은 "무엇처럼 보이는가"이지 "실제로 무엇인가"가 아닙니다. AI가 생성한 도시가 위에서 내려다보면 완벽해 보이지만, 실제로 그 안을 운전하며 돌아다니면 건물이 무너지고 거리의 기하 구조가 물리 법칙을 위반하는 것을 발견하게 되는 이유가 여기에 있습니다.

시뮬레이터: 물리 법칙을 따르는 상태를 출력

시뮬레이터는 세계의 상태 그 자체를 출력하며, 기하학, 물리학, 동역학 측면에서 현실에 충실합니다. 시각적 설득력만 있으면 되는 렌더러와 달리, 시뮬레이터는 더 엄격한 구조적 제약을 만족해야 합니다. 기하학적 관계는 면밀한 검증을 견뎌야 하고, 물리 과정은 뉴턴 법칙을 따라야 하며, 동적 행동은 인과 규칙에 부합해야 합니다.

시뮬레이터의 사용자는 두 부류로 나뉩니다. 시각적 사실감을 넘어서는 정확성이 필요한 건축가, 엔지니어, 게임 개발자, 그리고 현실에서는 위험하거나 비용이 큰 상황을 가상 환경에서 대규모로 안전하게 테스트해야 하는 강화학습 에이전트, 로봇 컨트롤러, 자율 주행 시스템입니다.

Dreamer 시리즈(V1-V4)가 정책을 학습시키는 "꿈"이 바로 암묵적 시뮬레이터의 한 예입니다. 잠재 공간에서 상태 표현을 유지하고, 동작에 따라 다음 상태를 추론하며, 정책은 전적으로 이 내부 시뮬레이션 안에서 학습한 뒤 실제 환경으로 옮겨갑니다.

플래너: 에이전트가 취해야 할 동작을 출력

플래너는 동작을 출력합니다. 현재 관측과 목표가 주어졌을 때 에이전트가 다음에 무엇을 해야 하는지를 알려줍니다. 어떤 의미에서 플래너는 렌더러의 역과정입니다. 렌더러가 동작을 관측으로 변환한다면, 플래너는 관측을 동작으로 변환해 지각-행동 폐루프(closed loop)를 완성합니다.

VLA(Vision-Language-Action, 시각 관측과 언어 지시를 입력받아 로봇 동작을 직접 출력하는 엔드투엔드 모델), CEM-MPC와 TD-MPC(월드모델 기반의 두 계획 알고리즘으로, 핵심 메커니즘은 L03에서 다룹니다), Dreamer 안의 잠재 Actor-Critic까지 모두 플래너입니다. 플래너는 세 유형 중 가장 만들기 어렵습니다. 현재 인상적으로 보이는 로봇 시연은 거의 모두 고도로 통제된 실험실 환경에 국한되어 있으며, 시연 영상과 실제 주방, 창고, 수술실에서 안정적으로 작동하는 로봇 사이에는 여전히 커다란 간극이 있습니다.

핵심은 시뮬레이터

세 유형은 각각 따로 정의할 수 있지만, 이들은 하나의 공통된 토대를 공유합니다. 바로 세계가 어떻게 작동하는지에 대한 깊은 이해, 즉 기하학, 물리학, 동역학입니다. 세계를 진정으로 이해하는 모델이라면 세 가지 태스크를 모두 해낼 수 있어야 합니다. 여러 각도에서 컵이 어떻게 보이는지 렌더링하고, 컵을 밀었을 때 무슨 일이 일어나는지 시뮬레이션하고, 손이 그 컵을 어떻게 집어야 하는지 계획하는 것입니다.

셋 중에서 시뮬레이터는 상업적 관심을 가장 적게 받지만, 기능적으로는 가장 핵심적입니다. 그 이유는 방향성에 있습니다.

렌더러는 시각적 신뢰성을 최적화할 뿐 물리적 정확성을 요구하지 않습니다. 이 한계는 실재하며, 렌더러의 출력은 보기에는 충분히 아름답지만 로봇 훈련이나 공학 설계에 쓰기에는 부족합니다.

플래너는 가장 매력적인 목표지만, 세계가 어떻게 작동하는지에 대한 내부 모델이 없으면 플래너는 상황을 암기하고 패턴을 매칭하는 방식으로만 동작을 출력할 수 있습니다. 이것이 바로 LeCun이 VLA 노선을 비판하는 핵심 논지입니다. VLA는 방대한 주행 상황을 기억하지만 내부적인 인과 모델이 없어서, 진짜로 낯선 상황에 부딪히면 그 결과를 추론할 능력이 없습니다.

시뮬레이터는 이 둘을 잇는 가교입니다. 언어가 세계에 대한 추상화이고 픽셀이 세계에 대한 투영이라면, 기하학과 물리학과 동역학은 세계 그 자체입니다. 시뮬레이터는 바로 이 차원에서 작동하며, 사람이 소비할 시각적 표현도, 에이전트가 쓸 동작의 결과도 모두 이끌어낼 수 있는 구조적 골격을 제공합니다.

이 분야의 최전선: 흐려지고 있는 경계

Fei-Fei Li의 글에는 눈여겨볼 만한 관찰이 하나 있습니다. 지금 가장 흥미로운 연구들은 이 세 범주의 경계를 의도적으로 흐리고 있다는 것입니다.

한 장 또는 몇 장의 이미지로부터 3차원 장면을 재구성하는 생성 모델인 World Labs의 Marble은 이미 하나의 모델에서 가우시안 스플랫(Gaussian splat, 렌더링용)과 충돌 메쉬(collision mesh, 물리 시뮬레이션용)를 동시에 출력하는데, 하나의 출력은 시각을, 다른 출력은 물리 엔진을 위한 것입니다. 몇몇 로보틱스 연구실의 최신 연구는 사전 학습된 비디오 렌더러가 동작 예측의 백본으로 곧바로 쓰일 수 있음을 보여주었고, 이는 렌더러와 플래너의 역할을 하나의 모델로 합칩니다.

두 흐름은 같은 방향을 가리킵니다. 바로 렌더링도, 시뮬레이션도, 계획도 해내며 다운스트림 과제에 따라 출력을 바꾸는 하나의 모델입니다.

철학적 단상

Fei-Fei Li의 삼분법은 우연이 아니라, 인식론의 고전적인 삼각 구도와 대응합니다.

시뮬레이터가 답하는 것은 존재론적 질문입니다. 세계 그 자체는 무엇인가. 관찰자와 무관하게 존재하는 객관적인 물리적 구조로, 공간과 역학과 인과의 고유한 법칙을 지닙니다.

렌더러가 답하는 것은 현상론적 질문입니다. 세계는 어떻게 보이는가. 인간이 감각을 통해 얻는 표상, 시각적 형상으로, 우리 눈에 보이는 모든 것은 세계가 지각의 차원에 투영된 것입니다.

플래너가 답하는 것은 실천론적 질문입니다. 주체는 무엇을 할 수 있는가. 표상 위에 서서 객관적 세계를 마주하는 행동 능력으로, 주체는 실천을 통해 세계에 작용하고 세계를 변화시킵니다.

Craik이 1943년 "외부 현실의 소규모 모델"이라는 말로 인간 뇌의 예측 메커니즘을 설명했을 때, 그가 가리킨 것은 바로 이 세 차원이 하나로 합쳐진 체계, 즉 존재론적 차원에서 추론하고 현상론적 차원에서 제시하고 실천론적 차원에서 행동 제안을 출력하는 체계였습니다. Saining Xie가 말한 "종착지"는 이런 의미에서 이미 오래전부터 답이 정해져 있었고, 다만 공학적 수단이 이 직관을 따라잡는 데 80년이 걸렸을 뿐입니다.

더 읽을거리

• Li, F.-F. et al., World Labs (2025). What Is a World Model?: 세 가지 기능적 월드모델 유형의 체계적인 정의
• Xie, S. (2024). 월드모델, 엠보디드 AI와 AMI Labs: "월드모델은 모두가 도달하게 될 종착지"라는 판단에 대한 Saining Xie의 상세한 설명
• Ha & Schmidhuber (2018): World Models (L01 더 읽을거리 참고): 렌더링(V), 시뮬레이션(M), 계획(C)을 처음으로 명확히 분리한 공학적 프레임워크