월드모델을 완전한 시스템에 통합하는 일곱 가지 패턴

제1강의 L1-L5 계단이 역량을 분류한다면, 이 강의의 앞선 페이지들은 동역학 아키텍처를 분류하고 구체적인 계획 메커니즘 세 가지를 설명했습니다. 완전한 시스템을 만들려면 설계적 결정을 하나 더 내려야 하는데, 바로 학습된 예측이 에이전트의 파이프라인 어디로 들어가는지입니다.

이는 모델 아키텍처를 나열한 또 다른 목록이 아니며, RSSM이든 Transformer든 비디오 모델이든 같은 모델이 여러 패턴에 두루 참여할 수 있습니다. 이 페이지가 다루는 패턴은 시스템을 어떻게 통합하는지를 설명하는 반면, "백본 선택"과 "최전선 연구 동향"에 실린 아키텍처 페이지들은 모델 자체의 구조를 설명합니다.

예측이 들어갈 수 있는 네 곳

학습된 예측기는 네 곳에서 시스템의 형태를 결정합니다.

1. 정책이 사용하는 표현을 사전학습할 수 있습니다.
2. 정책이나 플래너에 조밀한 학습 신호를 더할 수 있습니다.
3. 온라인으로 다음 동작을 고르는 데 쓰이는 후보 미래를 생성할 수 있습니다.
4. 오프라인으로 학습 데이터를 생성할 수 있으며, 이 경우 배포 시점에는 더 이상 모델을 호출하지 않아도 됩니다.

아래 일곱 가지 패턴은 이 네 가지 역할을 더 세분화한 것입니다.

VLA는 월드모델 옆 어디에 위치할까

아래 일곱 가지 패턴 중 두 가지는 월드모델의 예측을 VLA(Vision-Language-Action model, Brohan et al., 2023)로 연결합니다. VLA는 관측과 언어 지시를 곧바로 동작으로 매핑하는 모델로, 보통 사전학습된 비전-언어 모델에 동작 출력 헤드를 추가하고 행동 복제(behavior cloning, 관측-지시-동작 시연 데이터에 대한 지도학습)로 학습시켜 만듭니다. 순수한 VLA는 미래 상태를 전혀 예측하지 않고 지금 무엇을 해야 하는지만 결정하므로, 그 루프 안 어디에도 월드모델이 없습니다. 바로 이 점 때문에 이 강의에서 다루는 아키텍처들과 구분해서 봐야 합니다. 이 페이지가 지금까지 다룬 모든 것은 상태를 예측하는데, VLA는 완전한 시스템 중 상태를 예측하지 않는 부분입니다.

아래 패턴 3과 5는, VLA 자체를 예측 모델로 바꾸지 않으면서도 월드모델의 예측을 이 직접 매핑 안에 접목할 수 있는 두 가지 서로 다른 방법을 설명합니다.

일곱 가지 패턴

패턴	예측이 쓰이는 방식	역량 레벨과의 연결
1. 표현 사전학습	레이블 없는 비디오로 인코더를 사전학습한 뒤, 그 표현을 정책이나 플래너에 넘겨줌	L1이 상위 레벨의 토대를 제공함
2. 느림-빠름 계층 구조	비전-언어 모델이 이따금 상위 수준의 지시를 내리고, 빠른 정책이 하위 수준의 동작을 실행함	L1-L3 구성 요소가 하나의 모델로 합쳐지지 않으면서도 협력함
3. 명시적 인과 흔적을 갖는 VLA	비전-언어-행동 모델이 동작에 앞서 중간 설명이나 인과 흔적을 예측함	L3 동작 예측이 의사결정 과정의 일부에 대해 지도를 받음
4. 조밀한 예측 지도	미래 장면 분기와 동작 분기를 함께 학습시키되, 배포 시에는 동작 분기만 남김	L2 예측이 L3 정책에 더 조밀한 그라디언트를 공급함
5. 생성적 목표 또는 시각적 궤적	목표 이미지나 시각적 궤적을 상상한 뒤, 역동역학 모델로 연속된 상상 상태들을 잇는 동작을 추론함	L2가 목표 미래를 생성하고 L3가 이를 동작으로 변환함
6. 온라인 동작 평가기	학습된 모델 안에서 후보 동작들을 굴려보고 그 결과를 채점한 뒤, 첫 동작을 실행하고 새 관측에서 다시 계획을 세움	L4가 예측을 이동 지평선(receding-horizon) 제어에 직접 사용함
7. 오프라인 시뮬레이션과 데이터 생성	정책 학습 전에 어렵거나 분포 밖인 경험을 생성한 뒤, 증강된 데이터로 배포할 정책을 학습시킴	L4-L5가 온라인으로 모델을 요구하지 않으면서도 정책이나 데이터셋을 개선함

📖 표에 쓰인 용어: VLA는 시각과 언어 지시를 동작으로 매핑합니다. 인과 흔적(causal trace)은 동작이 관측으로부터 왜 따라 나오는지를 드러내기 위한 중간 예측입니다. 역동역학 모델은 한 상태를 다른 상태로 바꾸는 데 필요한 동작을 예측합니다. 이동 지평선 제어(receding-horizon control)는 여러 스텝을 미리 계획하되 첫 동작만 실행하고, 실제 결과를 관측한 뒤 다시 계획을 세웁니다. 이 정의들은 인터페이스를 설명할 뿐 보장을 뜻하지는 않습니다. 중간 단계의 언어적 흔적을 생성한다고 해서 모델이 진짜 인과 메커니즘을 학습했다는 것이 증명되지는 않습니다.

중요한 세 가지 비교

패턴 1-3의 주된 차이는 결합도입니다. 표현 사전학습은 특징을 별도의 정책에 넘겨줍니다. 느림-빠름 계층 구조는 배포 시점에도 협력하는 두 모듈을 그대로 유지합니다. 통합 VLA는 지각, 중간 예측, 동작 생성을 하나의 시퀀스 안에서 함께 학습시킵니다. 결합도가 높을수록 학습과 배포 시점의 행동을 맞추기는 쉬워지지만, 실패 지점을 짚어내기는 더 어려워집니다.

패턴 4와 5는 둘 다 지도 신호를 더 조밀하게 만듭니다. 패턴 4는 미래 예측을 보조 학습 목표로 씁니다. 패턴 5는 추론 시점에 상상한 목표를 역동역학 모델에 노출시킵니다. 전자는 학습이 끝나면 예측기를 버릴 수 있지만, 후자는 실제로 동작할 때도 생성 품질에 계속 의존합니다.

패턴 6과 7의 차이는 월드모델이 언제 동작하느냐입니다. 온라인 평가는 현재 관측에 반응할 수 있지만 지연 시간이 늘고 플래너가 모델 악용(model exploitation)에 노출됩니다. 오프라인 생성은 추론 시점의 비용은 피하지만, 배포된 정책은 낯선 상황을 만났을 때 모델에게 다시 판단해달라고 요청할 수 없습니다.

핵심 계획 메커니즘과의 연결

CEM-MPC와 TD-MPC는 패턴 6의 사례입니다. 후보 동작 시퀀스를 온라인으로 채점하고, 실제 전이가 일어날 때마다 다시 계획을 세우기 때문입니다. Dreamer는 두 역할에 걸쳐 있습니다. 상상 롤아웃이 Actor와 Critic에게 조밀한 학습 신호를 제공하는 동시에, 학습이 끝난 Actor는 매 환경 스텝마다 탐색을 실행하지 않고도 동작할 수 있습니다. 역량이 동역학 네트워크 하나만의 속성이 아니라 전체 루프의 속성인 이유가 여기에 있습니다.

그러므로 실전에서 던져야 할 질문은 "이 월드모델이 어떤 패턴에 속하는가"가 아니라, 다음 네 가지입니다. 어떤 구성 요소가 예측하는가, 그 예측을 무엇이 소비하는가, 예측은 언제 실행되는가, 그 오차가 실제로 실행되는 동작을 바꿀 수 있는가? 이 네 가지 질문이 겉보기에 비슷한 시스템들을 서로 비교할 수 있게 해줍니다.

더 읽을거리

• 완전한 시스템에 역량 레벨을 매기기 전에, L1-L5 역량 계단을 다시 읽어보세요.
• 온라인 통합과 학습 시점 통합의 구체적인 예시를 보려면 CEM-MPC와 잠재 Actor-Critic, TD-MPC를 다시 읽어보세요.