월드모델의 역량 분류: 기술적 나열에서 인지적 기능으로

가장 중요한 구분: 역사적 맥락은 분류 체계가 아닙니다

엄밀한 튜토리얼이라면 서로 다른 두 질문을 혼동해서는 안 됩니다. 둘 다 유용하지만 성격이 전혀 다르기 때문입니다.

1. 역사적 맥락: 월드모델 연구는 어떻게 한 걸음씩 오늘에 이르렀을까요?
2. 기능적 역량: 구체적인 어떤 모델이 실제로 어떤 종류의 세계 모델링 역량을 갖추고 있을까요?

"네 시대"는 첫 번째 질문에 속합니다. 이는 초기 RNN 방식의 예측에서 Ha와 Schmidhuber가 월드모델을 명확히 정식화한 것을 거쳐, Dreamer 방식의 잠재 상상(latent imagination), 그리고 JEPA 방식의 표현/예측 노선으로 이어지는 하나의 역사적 서사선입니다. 이 서사는 독자가 시간 감각을 세우는 데는 유용하지만, 월드모델을 가장 깊이 있게 분류하는 방식은 아닙니다.

L1-L5는 두 번째 질문에 속합니다. 이는 모델의 수행 역량에 따라 분류합니다. 먼저 모델이 현재 상태를 압축하는 데 그치는지, 아니면 미래를 예측할 수 있는지를 봅니다. 그다음 자연스러운 전개만 예측하는지, 아니면 "내가 이렇게 행동하면 어떻게 될까"에 답할 수 있는지를 봅니다. 이어서 결과를 예측하는 데 그치는지, 아니면 예측을 가치, 계획, 정책 개선과 결합할 수 있는지를 봅니다. 마지막으로 상호작용 속에서 오류를 발견하고 스스로 수정할 수 있는지를 봅니다.

따라서 이 강좌는 두 축으로 이루어진 관점을 채택합니다.

축	답하는 질문	강좌에서의 역할
역사적 시대	"이 분야는 어떻게 지금에 이르렀을까요?"	교육적 도입과 맥락 정리
L1-L5 역량 계단	"이 시스템은 정확히 어떤 종류의 월드모델일까요?"	주된 분류 체계

이렇게 하면 흔한 오류 하나를 피할 수 있습니다. 즉 유명한 기술 하나하나를 모두 나란히 놓인 "월드모델의 한 유형"으로 취급하는 오류입니다. DINO, MAE, JEPA, NeRF, 비디오 예측, Dreamer, MuZero, simulator는 하나의 평면적인 목록에 놓인 동류 항목이 아닙니다. 이들은 서로 다른 역량 레벨에 있으며, 흔히 월드모델 문제의 서로 다른 하위 모듈만을 해결합니다.

자주 등장하는 이름을 미리 보겠습니다. 이 분류 체계는 강좌에서 처음부터 하나씩 만들어보기 전에, 몇몇 시스템을 반복해서 예시로 씁니다. JEPA(Joint Embedding Predictive Architecture)는 픽셀 대신 의미 공간에서 미래 표현을 예측합니다(완전한 메커니즘은 L03에서). Dreamer와 그 동역학 핵심인 RSSM(Recurrent State Space Model)은 관측을 잠재 상태로 압축하고 그 잠재 공간에서 미래를 예측합니다(L02에서 직접 만들어보고, L03에서 다른 아키텍처들과 비교합니다). MuZero는 픽셀 재구성을 전혀 하지 않고 내부 상태에서 곧바로 보상과 가치를 예측하며, 트리 탐색으로 계획을 세웁니다(L03 계획과 제어에서 다룹니다). TD-MPC는 학습된 Q함수와 탐색 기반 계획을 결합합니다(역시 L03 계획과 제어). 이들을 아직 깊이 이해할 필요는 없으며, 여기서 중요한 것은 각각이 어느 역량 레벨에 도달하는지뿐입니다.

📖 DINO, MAE, CLIP, ViT: 이 네 가지 이름은 이 분류 체계 전체에서 L1 표현 학습의 대표적인 예시로 반복해서 등장하므로, 여기서 먼저 짚고 넘어갈 필요가 있습니다. ViT(Vision Transformer, Dosovitskiy et al., 2021)는 Transformer의 셀프 어텐션 메커니즘(L03에서 자세히 다룹니다)을 컨볼루션 대신 이미지에 직접 적용합니다. 이미지를 고정된 크기의 patch로 잘라 각 patch를 하나의 토큰으로 취급하고, patch 시퀀스에 대해 셀프 어텐션을 수행합니다. DINO(self-DIstillation with NO labels, Caron et al., 2021, Meta AI)는 어떠한 레이블도 없이 순수한 자기지도 방식으로 ViT를 학습시킵니다. 학생 네트워크는 같은 이미지의 서로 다른 증강 뷰에서, 천천히 업데이트되는 교사 네트워크(EMA를 통해, 이는 훗날 JEPA에서 쓰이는 것과 동일한 메커니즘입니다)의 출력을 따라가도록 학습하며, 그 결과로 만들어지는 특징은 모델이 "이것이 어떤 물체인지" 한 번도 알려주지 않았음에도 물체의 의미에 따라 자동으로 군집화됩니다. CLIP(Contrastive Language-Image Pretraining, Radford et al., 2021, OpenAI)은 이미지 인코더와 텍스트 인코더를 함께 학습시켜, 서로 짝이 맞는 이미지-텍스트 쌍의 표현은 가깝게, 짝이 맞지 않는 쌍은 멀게 만들어 시각과 언어 두 모달리티가 정렬된 표현을 얻습니다. MAE(Masked Autoencoder, He et al., 2021)는 이미지의 상당 부분(보통 75%)의 patch를 가리고 남아 있는 보이는 patch만으로 가려진 픽셀을 재구성하도록 학습하는데, BERT가 텍스트에서 단어를 가리는 방식과 발상이 비슷합니다. 이 넷은 모두 표현 학습 방법입니다. 이들이 만들어내는 것은 이미지의 압축되고 의미화된 인코딩이며, 이것이 바로 이들이 이 분류 체계에서 더 높은 레벨이 아니라 L1에 머무는 이유입니다. 이들 자체는 미래를 예측하지도, 동작을 조건으로 삼지도 않습니다.

네 시대에 대한 간략한 소개

시대 1: 이론적 토대(1950년대-2017). 순환 신경망, 칼만 필터, 은닉 마르코프 모델처럼, 70년에 걸쳐 제어 이론, 음성 인식, 로보틱스 분야의 연구자들이 각자 미래 상태를 예측하는 도구를 독자적으로 만들어왔지만, 이 작업들이 "월드모델"이라는 이름으로 통합된 적은 한 번도 없었습니다.

시대 2: Ha와 Schmidhuber의 "꿈속 학습"(2018). Ha와 Schmidhuber의 《World Models》는 이 흩어진 아이디어들을 세 모듈 프레임워크로 통합했습니다. V(시각 인코더)는 매 프레임을 잠재 벡터로 압축하고, M(기억 모듈, MDN-RNN)은 과거 잠재 벡터와 동작을 바탕으로 그 벡터가 어떻게 변화할지 예측하며, C(컨트롤러)는 현재 잠재 벡터와 기억 모듈의 은닉 상태를 곧바로 동작으로 매핑합니다. 기억 모듈이 만들어낸 가상 환경 안에서만 컨트롤러를 학습시킨 뒤 그 정책을 실제 게임으로 옮기는 방식은, 월드모델이라는 발상을 처음으로 주류로 만들었습니다.

시대 3: RSSM과 잠재 상상(2019). PlaNet은 RSSM(Recurrent State Space Model, 전체 메커니즘은 L02에서 다룹니다)을 도입해 상태를 결정론적 기억과 확률적 잠재 변수로 나눴습니다. 이어진 Dreamer V1은 RSSM을 사용하면서 actor와 critic을 잠재 상상 궤적에서 직접 학습했습니다. Dreamer의 월드모델 학습 목표에는 여전히 관측 재구성이 포함되지만, 정책을 최적화할 때 모든 상상 상태를 픽셀로 다시 디코딩할 필요는 없습니다.

시대 4: 비디오가 곧 세계다(2023년 이후). JEPA(Joint Embedding Predictive Architecture, LeCun 팀, 2022)는 픽셀 재구성을 완전히 버리고 오직 의미적 임베딩 공간에서만 예측합니다. "나는 당신의 얼굴을 그릴 필요가 없다. 당신이 누구인지만 알면 된다."

네 시대를 가로지르는 진화 논리는 이렇습니다. "시퀀스 안에서 상태를 어떻게 예측할 것인가"(시대 1)에서, "꿈속에서 정책을 어떻게 학습시킬 것인가"(시대 2)로, "잠재 공간에서 지각을 어떻게 압축할 것인가"(시대 3)로, 다시 "의미만 남기고 잡음은 어떻게 버릴 것인가"(시대 4)로 이어집니다. 매 단계는 이전 단계의 병목에 대한 직접적인 응답입니다.

네 시대는 L1-L5에 어떻게 대응할까요

역사적 시대와 역량 계단은 서로 융합될 수 있으며, 모순되지 않습니다.

역사적 프레임	대표적 기여	역량 관점의 해석
초기 recurrent prediction	압축된 은닉 상태를 학습하고 시퀀스 변화를 예측	L1-L2
Ha와 Schmidhuber의 world models	표현, 기억/동역학, 컨트롤러를 분리	L1-L3, agent 인터페이스가 처음 등장
Dreamer 방식의 잠재 상상	학습된 latent dynamics 안에서 계획하고 정책을 학습	L3-L4
JEPA 방식의 표현/예측	모든 픽셀을 재구성하지 않고 추상적인 예측 표현을 학습	L1-L2, L3-L5의 토대가 될 수도 있음

이 표는 왜 개별 방법 하나에 과도한 의미를 부여해서는 안 되는지도 보여줍니다. JEPA는 대단히 중요하지만, JEPA 자체가 곧바로 에이전틱 월드모델이 되는 것은 아닙니다. Dreamer는 학습된 동역학을 정책 학습에 사용하기 때문에 에이전틱하다는 의미에 더 가까운 월드모델입니다. MuJoCo 같은 시뮬레이터는 "동작은" 하지만, 에이전트가 내부적으로 학습한 월드모델은 아닙니다. 에이전트가 그 동역학을 내면화하거나 근사하거나 이를 이용해 내부적으로 추론을 전개할 때에만, 비로소 이 강좌에서 다루는 월드모델의 범주에 들어옵니다.

따라서 이 강좌는 월드모델이라는 용어를 엄격하게 사용합니다. 하나의 시스템은 내부 모델을 포함해야 하고, 예측, 반사실 평가(counterfactual evaluation, "내가 이 동작을 하면 무슨 일이 일어날지"를 평가하는 것), 계획, 또는 자기 수정을 지원해야 합니다. 표현만 제공하는 시스템은, 더 큰 예측 또는 행동 폐루프에 통합되지 않는 한 완전한 월드모델이 아니라 월드모델 구성요소(world-model component)라고 불러야 합니다.

"월드모델"이라는 용어는 서로 다른 커뮤니티에서 매우 넓게 쓰입니다. 자기지도 비전, 비디오 생성, 3D 재구성, 물리 시뮬레이션, 강화학습, 엠보디드 AI(Embodied Intelligence) 모두 저마다 월드모델을 만들고 있다고 주장합니다. 이렇게 개념이 지나치게 남용되는 것을 피하기 위해, 이 강좌는 더 엄격한 판단 기준을 채택합니다.

한 시스템이 완전한 월드모델에 가까울수록, 다음 세 가지 질문에 동시에 답할 수 있어야 합니다.

1. 세계 상태에 대한 내부 표현을 학습하거나 유지하나요?
2. 현재 상태와 가능한 행동을 근거로 미래 상태를 예측할 수 있나요?
3. 그 예측이 에이전트의 계획, 제어, 의사결정에 쓰일 수 있나요?

이 세 질문은 약한 것에서 강한 것 순으로, 월드모델에 대한 세 가지 정의에 대응합니다. 이들은 기존 문헌에서 뒤섞여 쓰이는 용법을 정리해주지만, 아직 이 강좌가 최종적으로 원하는 분류 방식은 아닙니다. 더 설명력 있는 분류는 "이 모델이 어느 논문의 기술 노선에 속하는가"만 묻는 것이 아니라, 이 모델이 에이전트에게 세계에 대한 어떤 수행 역량을 부여하는가를 물어야 합니다.

L1-L5: 수행 역량에 따른 분류

"세계를 재구성한다", "다음 단계를 예측한다", "동작한다"는 유용한 직관적 출발점이지만, 여전히 표면적인 행동에 머뭅니다. 더 강력한 분류는 에이전트가 무엇을 할 수 있는가에서 출발해야 합니다. 이 강좌는 다섯 레벨의 역량 계단을 주된 분류 체계로 삼습니다. 아래 각 레벨마다 핵심 질문, 형식적 표현, 대표적인 예, 그리고 한계를 제시합니다.

L1 압축 모델: What is here?

압축 모델은 고차원 관측을 계산 가능하고, 기억 가능하고, 비교 가능한 내부 상태로 바꿉니다. "지금 내가 보고 있는 세계를 무엇으로 표현할 수 있는가"에 답하는 것입니다. 보통 미래를 직접 전개하지도 행동에 직접 기여하지도 않기 때문에, 완전한 월드모델보다는 월드모델 구성요소라고 부르는 것이 더 정확합니다.

형식적으로는 다음과 같습니다.

$$z_t=\text{Encoder}(o_t)$$

여기서 $o_t$는 시각 $t$의 고차원 관측(픽셀, 포인트 클라우드 등)이고, $z_t$는 압축된 내부 상태입니다.

대표적인 예:

• DINO / MAE / CLIP 스타일 표현
• 오토인코더 / VAE 인코더
• 물체 중심 표현

핵심 역량은 픽셀을 잠재 상태로, 국소적 관측을 안정적인 물체로, 잡음 섞인 디테일을 태스크와 관련된 변수로 바꾸는 것입니다.

한계는 "여기에 무엇이 있는지"는 알지만, 반드시 "다음에 무슨 일이 일어날지"까지 아는 것은 아니라는 점입니다.

L2 동역학 모델: What happens next?

동역학 모델은 현재 세계를 표현하는 데 그치지 않고, 상태가 시간에 따라 변화하는 방식을 학습해 "세계가 계속 전개된다면 다음에 무슨 일이 일어날지"를 예측합니다. 예측은 픽셀 공간, 특징 공간, 물체 공간, 3D 공간 어디서든 일어날 수 있습니다.

형식적으로는 다음과 같습니다.

$$z_{t+1}=\text{Predictor}(z_{\le t})$$

JEPA는 이 레벨의 대표적인 예로, 예측을 보이는 patch와 가려진 patch 사이의 매핑으로 더 좁혀놓습니다. $z_{\text{masked}}=\text{Predictor}(z_{\text{visible}},\mathrm{\Delta })$이며, 여기서 $\mathrm{\Delta }$는 가려진 영역의 위치를 인코딩합니다. 비디오 월드모델은 같은 발상을 픽셀 공간 버전으로 취합니다. $I_{t+1}=\text{Generator}(I_{\le t},c)$이며, 과거 프레임 $I_{\le t}$와 선택적인 의미 프롬프트 $c$로부터 다음 프레임을 곧바로 생성합니다.

대표적인 예:

• JEPA / 잠재 동역학
• 비디오 예측 / 비디오 확산 모델
• 장면 흐름(scene flow) / 물체 동역학

핵심 역량은 시간적 예측, 잠재 롤아웃, 미래에 대한 불확실성 추정입니다.

한계는 미래를 예측할 수 있지만, 반드시 "내 행동이 무엇을 바꿀지"까지 아는 것은 아니라는 점입니다.

L3 행동 조건 모델: What if I act?

행동 조건 모델은 에이전트의 동작을 세계의 전개 과정 안에 접어 넣습니다. 자연스럽게 일어나는 다음 상황만 예측하는 것이 아니라, "내가 이 동작을 하면 무슨 일이 일어날지"를 예측합니다.

형식적으로는 다음과 같습니다.

$$s_{t+1}=f(s_t,a_t)$$

여기서 $a_t$는 에이전트가 시각 $t$에 취하는 동작입니다. 이 조건 하나로 월드모델은 방관자에서 참여자로 바뀝니다.

대표적인 예:

• 모델 기반 RL 동역학 모델
• 로보틱스 순방향 모델
• 제어 가능한 비디오 생성
• 동작 조건화 잠재 전이

핵심 역량은 동작 조건화 반사실적 예측과, 후보 정책 아래에서의 상상된 궤적입니다.

한계는 한 스텝 또는 짧은 구간의 반사실 질문에는 답할 수 있지만, 반드시 장기 계획까지 할 수 있는 것은 아니며, 어떤 결과가 추구할 가치가 있는지도 반드시 아는 것은 아니라는 점입니다.

L4 가치 결합 모델: What matters?

가치 결합 모델은 세계에 대한 예측을 목표, 보상, 선호, 생존 제약과 결합해 "어떤 미래가 더 나은지, 어떤 미래가 더 위험한지"에 답합니다. 이것이 바로 이 강좌에서 쓰는 가장 엄격한 의미의 에이전틱 월드모델로, 예측이 계획, 제어, 의사결정에 직접 쓰입니다.

형식적으로는 다음과 같습니다.

$$a^{\ast }=\arg \underset{a}{max}\text{Value}({\text{Rollout}}_{\text{WM}}(s,a))$$

즉 월드모델이 여러 후보 동작을 병렬 상상 속에서 굴려보고, 가치 함수나 평가자가 이를 채점하며, 가장 좋은 동작이 선택됩니다. Dreamer는 잠재 상상 안의 학습된 Actor-Critic으로 이를 수행하고, MuZero는 탐색으로 같은 일을 합니다.

대표적인 예:

• 상상 속 Dreamer 방식 Actor-Critic
• MuZero 방식 보상/가치 예측
• 제어를 위한 학습된 비용 모델
• 선호 조건화 월드모델

핵심 역량은 보상/가치 예측, 상상된 미래에 대한 계획, 잠재 롤아웃을 통한 신용 할당입니다.

한계는 어떤 미래가 더 가치 있는지는 알지만, 반드시 자신의 세계에 대한 가정을 계속 수정하는 것은 아니며, 모델 자체의 오차가 계획 과정에서 증폭될 수 있다는 점입니다.

L5 자기 교정 모델: How do I improve my model of the world?

자기 교정 모델은 예측 오차, 탐색, 모델 업데이트 사이의 폐루프를 완성합니다. 월드모델을 그저 쓰는 데 그치지 않고 능동적으로 개선합니다. 모델 오차를 발견하고, 불확실성을 줄이는 실험을 고르고, 개입 이후 자신의 추정을 갱신하고, 여러 태스크에 걸쳐 계속 성장하는 월드모델을 유지합니다. 이는 한 단계 더 높은 차원의 월드모델로, 세계를 시뮬레이션할 뿐 아니라 자신의 시뮬레이션이 어디에서 신뢰할 수 없는지도 알아챕니다.

대표적인 예:

• 능동 추론
• 호기심 기반 모델 학습
• 불확실성 기반 탐색
• 평생 월드모델 학습
• 과학적 발견 에이전트

핵심 역량은 모델 오차 발견, 불확실성을 줄이는 실험 선택, 개입 이후 추정 갱신, 여러 태스크에 걸친 성장하는 월드모델 유지입니다.

최종 역량 계단

이 강좌는 "어떤 모델이 월드모델인가 아닌가"라는 이분법적 레이블을 채택하지 않고, 하나의 역량 계단을 채택합니다.

레벨	핵심 질문	형식화	대표적인 예	엄격한 명칭
L1 압축	What is here?	$z_t=\text{Encoder}(o_t)$	DINO, MAE, NeRF encoder	world-model component
L2 동역학	What happens next?	$z_{t+1}=\text{Predictor}(z_{\le t})$	JEPA, video prediction, scene flow	predictive world model
L3 행동 조건	What if I act?	$s_{t+1}=f(s_t,a_t)$	robotics forward model, action-conditioned dynamics	controllable world model
L4 가치 결합	What matters?	$a^{\ast }=\arg \underset{a}{max}\text{Value}({\text{Rollout}}_{\text{WM}}(s,a))$	Dreamer, MuZero	agentic world model
L5 자기 교정	How do I improve?	능동적 탐색과 모델 업데이트(단일 닫힌 형태 없음)	active inference, curiosity, lifelong agents	self-improving world model

이 분류는 모델의 표면적 형태가 아니라 에이전트의 역량을 그려내기 때문에 "재구성 / 예측 / 동작"보다 더 강력합니다. 하나의 시스템은 픽셀, 물체, 3D, 언어, 물리 상태 등 어떤 형태의 데이터를 다루든 이 역량들을 구현할 수 있습니다. 즉 데이터의 형태 자체는 본질이 아니며, "이렇게 했다면 어떻게 됐을지"를 실제로 따져볼 수 있는 역량이야말로 본질입니다.

월드모델이라고 흔히 잘못 불리는 또 다른 부류의 시스템도 있습니다. MuJoCo, Brax, Isaac Gym 같은 물리 시뮬레이터, Atari, 스네이크 게임, Minecraft 같은 규칙 기반 또는 절차적으로 생성된 환경, 그리고 게임 엔진 전반입니다. 이들은 분명 "하나의 세계를 담고" 있고, 데이터와 평가 환경을 제공하기 때문에 월드모델을 학습시키는 데 대단히 중요합니다. 하지만 보통은 에이전트가 스스로 학습해낸 내부 모델이 아닙니다. 에이전트가 그 규칙성을 자신의 내부 모델 안으로 내면화하지 않는 한, 이들은 외부 시뮬레이터로 분류되며 L1-L5 계단 바깥에 놓입니다.

2차원 분류: 대상 × 역량

"월드모델 아홉 칸"이라는 밈으로 흔히 알려진 격자표(한 축은 재구성/다음 스텝 예측/실행 가능한 시뮬레이션, 다른 축은 특징-잠재/물체-3D/픽셀-비디오)는 이 절의 직관을 정확히 담아냅니다. DINO, JEPA, Dreamer가 각각 한 칸씩 차지하고, NeRF, 장면 흐름, MuJoCo가 다른 칸들을 차지합니다. 이는 이론적 초석의 세 가지 질문 표("무엇을 예측하는가 / 동작을 입력받는가 / 어떤 목적에 쓰이는가")와 같은 발상을 다르게 배열한 것입니다. 서로 직교하는 두 축을 따라 모델을 정리합니다.

• 행: 모델링 공간, 즉 표현이 무엇에 대한 것인가입니다. 특징/잠재 변수, 물체/3D, 픽셀/비디오, 또는 물리 상태입니다.
• 열: 역량 레벨, 즉 그 공간에서 모델이 무엇을 할 수 있는가입니다. 재구성, 예측, 또는 동작 조건화 폐루프로, 앞서 다룬 L1-L4에 대응합니다.

표현 대상	재구성(L1)	예측(L2)	행동 폐루프(L3-L4)	대표 수식
특징 / 잠재 변수	MAE, 오토인코더	JEPA, 잠재 동역학	Dreamer 잠재 상상	$z_{\text{masked}}=\text{Predictor}(z_{\text{visible}},\mathrm{\Delta })$
물체 / 3D	NeRF, 3D Gaussian Splatting	장면 흐름, 물체 동역학	모델 기반 조작	$I=\text{Renderer}(\mathrm{\Theta },c)$
픽셀 / 비디오	이미지/비디오 재구성	비디오 확산, 비디오 예측	시각 모델 예측 제어	$I_{t+1}=\text{Generator}(I_{\le t},c)$
상태 / 물리량	상태 추정기	학습된 동역학	MPC, 모델 기반 RL	$s_{t+1}=f(s_t,a_t)$

NeRF / 3D Gaussian Splatting 수식에서 $\mathrm{\Theta }$는 장면 표현(NeRF 가중치 또는 3DGS 가우시안 집합)이고, $c$는 렌더링 조건(시점, 시간, 또는 자세)이며, $I$는 렌더링된 이미지입니다.

이 표의 핵심은 이렇습니다. 완전한 월드모델인지 아닌지를 결정하는 것은 표현 대상의 축이 아니라, 엄격한 레벨을 가르는 역량의 축입니다. NeRF는 대단히 훌륭한 3D 세계 표현일 수 있지만 정적인 재구성에 그친다면 여전히 L1 표현 레벨에 머무는 반면, Dreamer가 완전한 월드모델에 더 가까운 이유는 잠재 예측을 행동 학습으로 연결해 L3-L4에 도달했기 때문입니다. 바로 이런 이유로 DINO와 MAE는 보통 L1에 머물고, JEPA와 비디오 예측은 L2에 도달하고, 동작 조건화 동역학은 L3에 도달하고, Dreamer와 MuZero는 L4에 도달하며, 실험을 능동적으로 설계하고 스스로의 가정을 수정하는 에이전트만이 L5에 도달합니다. L5는 아홉 칸 격자표에 대응하는 칸이 아예 없는 레벨인데, "모델링 공간" 축 하나만으로는 설명할 수 없는 영역이기 때문입니다.

역량 계단에서 시스템 설계로

L1-L5 계단은 시스템이 무엇을 할 수 있는지를 분류할 뿐, 배포되는 에이전트 안에서 인코더, 동역학 모델, 플래너, 데이터 파이프라인을 실제로 어떻게 연결해야 하는지는 아직 설명하지 않습니다. 이 둘의 차이는 중요하지만, 구체적으로 다루려면 제3강에서 소개하는 계획 메커니즘이 먼저 필요합니다.

지금은 한 가지만 기억해두면 됩니다. 더 높은 역량은 대개 예측 모델 자체와 그것을 사용하는 방식의 조합에서 나온다는 것입니다. CEM-MPC, 잠재 Actor-Critic, TD-MPC를 배운 뒤에는 월드모델을 완전한 시스템에 통합하는 일곱 가지 패턴으로 돌아와, 예측이 완전한 시스템의 어디로 들어갈 수 있는지(표현 사전학습, 학습 신호, 동작 선택, 데이터 생성 중 어디인지)를 비교해보세요.

이 강좌가 채택하는 최종 정의

이 강좌에서 "월드모델"은 기본적으로 에이전트 내부에 있고, 예측을 할 수 있으며, 행동 선택에 쓰일 수 있는 월드 동역학 모델을 가리킵니다. 넓은 의미의 논의에서는 표현 모델, 재구성 모델, 비디오 예측 모델, 외부 시뮬레이터도 모두 월드모델과 관련이 있다는 점을 인정하지만, 다음과 같이 명확히 구분합니다.

• world-model component: 세계에 대한 어떤 표현이나 국소적인 규칙을 학습한 것.
• predictive world model: 미래 상태나 관측을 내부적으로 예측할 수 있는 것.
• controllable world model: 동작이 초래하는 반사실적 결과를 예측할 수 있는 것.
• agentic world model: 내부 예측을 계획, 제어, 의사결정에 사용할 수 있는 것.
• self-improving world model: 탐색과 오차 수정을 통해 스스로를 지속적으로 개선할 수 있는 것.
• external simulator: 상호작용 가능한 세계를 제공하지만, 에이전트가 학습한 내부 모델은 아닌 것.

따라서 "DINO는 월드모델이다", "NeRF는 월드모델이다", "MuJoCo는 월드모델이다", "Sora는 월드모델이다" 같은 말들은 넓은 맥락에서만 성립합니다. 엄격하게 말하면 DINO와 NeRF는 대개 월드모델 구성요소에 가깝고, MuJoCo는 외부 시뮬레이터이며, Sora 같은 비디오 확산 모델은 기껏해야 L2 예측형 월드모델입니다(이산적인 동작을 조건으로 삼지 않고 계획에도 쓰이지 않기 때문입니다). Dreamer나 MuZero 같은 시스템이야말로 이 강좌가 핵심적으로 의미하는 월드모델에 더 가깝습니다.