최전선 연구 동향: LoopWM, WAM, 그리고 아키텍처 선택

흔한 오해

"더 강력한 동역학 모델은 더 많은 파라미터를 필요로 한다." LoopWM의 전체 전제는 깊이와 파라미터 수가 분리될 수 있다는 것입니다. 파라미터를 공유하는 동일한 Recurrent Block이 어려운 전이에서는 더 많이 순환하고 쉬운 전이에서는 더 적게 순환하면서, 추가 가중치가 아니라 추가 연산으로 예측 정확도를 얻습니다. 반복적인 잠재 깊이는 모델 크기, 데이터양과 나란히 놓이는 세 번째 확장 축이지, 둘 중 하나를 다르게 표현한 것이 아닙니다.

"월드모델과 정책은 반드시 두 개의 별도 모듈이어야 하며, 그것이 아키텍처상 무언가를 월드모델로 만드는 조건이다." L01의 계약은 월드모델을 인터페이스, 즉 상태 추정, 전이, 방출, 예측으로 정의했지, 그것을 어떤 모듈이 얼마나 많이 구현하는지로 정의하지 않았습니다. WAM은 이 점을 가장 날카롭게 보여줍니다. 미래 프레임을 예측하는 것과 동일한 순전파에서 모터 명령까지 출력하며, 별도의 정책 네트워크는 아예 존재하지 않습니다. 이 인터페이스들이 하나의 모듈 안에 있는지 여러 모듈에 나뉘어 있는지는 공학적 선택일 뿐, 정의의 일부가 아닙니다.

아키텍처 8: 순환 동역학 모델(LoopWM)

대표 시스템: LoopWM(Looped World Models, Lu et al., 2026)

앞서 다룬 아키텍처 계열들은 대부분 동역학 예측기의 깊이에 대해 암묵적인 전제 하나를 공유합니다. 더 긴 호라이즌, 더 높은 정확도의 시뮬레이션을 하려면 네트워크가 더 깊어야 하고, 네트워크가 깊어지면 파라미터가 늘고 추론 비용이 커지며 긴 롤아웃에서 오차가 누적되는 경향도 커진다는 전제입니다. LoopWM은 "깊이가 곧 파라미터 수"라는 이 전제를 깨뜨립니다. 인코더 $E_{ϕ}$ 는 관측 $o_{k}$ 를 $e_{k}$ 로 압축하고, 동작 임베더 $A_{ψ}$ 는 동작 $a_{k}$ 를 $u_{k}$ 로 압축하며, 이 둘은 순환 동역학 코어(Looped Dynamics Core) $L_{θ}$ 로 함께 들어갑니다. 이 코어 안에서는 먼저 프렐류드(Prelude) $P$ 가 $(h_{k - 1}, e_{k}, u_{k})$ 를 조건으로 삼고, 파라미터를 공유하는 순환 블록(Recurrent Block) $R$ 이 $T$ 번 반복해 은닉 상태를 다듬습니다. $h^{(t)} = \bar{A} h^{(t - 1)} + \bar{B} e + Transformer residual$ 이며, 마지막으로 코다(Coda) $C$ 가 $h_{k}$ 를 확정해 다음 스텝의 초기 상태로 삼습니다. 여기서 $\bar{A} = \exp (Δ diag (- \exp (a)))$ 인데, 이는 모든 고유값을 $(0, 1)$ 구간 안에 묶어둡니다. 이 스펙트럼 안정화(spectral stabilization) 제약 덕분에 매 반복이 축약사상(contractive mapping)이 되어, $T$ 를 아무리 여러 번 반복해도 롤아웃이 발산하지 않습니다. $h_{k}$ 는 마지막으로 예측 헤드 $D_{ξ}$ 를 거쳐 다음 관측, 보상, 종료 신호 $({\hat{o}}_{k + 1}, {\hat{r}}_{k + 1}, d_{k + 1})$ 를 만들어냅니다.

LoopWM 아키텍처: 인코더와 동작 임베더가 순환 동역학 코어(프렐류드, 공유 순환 블록, 코다)로 들어가며, 스펙트럼 안정성 보장과 지연 디코딩을 갖춘 구조 — Lu et al.(2026) LoopWM의 전체 아키텍처. 관측과 동작은 각각 인코더 $E_o$와 동작 임베더 $A_a$로 압축된 뒤 순환 동역학 코어로 들어갑니다. 코어 안에서 프렐류드가 조건을 만들고, 공유 순환 블록이 $T$번 반복하며(종료 게이트 $g^{(t)}$가 조기 종료 여부를 결정합니다), 코다가 결과를 $h_k$로 사영합니다. 스펙트럼 안정성 보장 $\rho(\bar{A}) < 1$ 덕분에 매 반복이 축약사상이 됩니다. $h_k$는 예측 헤드로 전달되어 다음 관측, 보상, 종료 신호를 출력하거나, 지연 디코딩 경로를 따라 여러 스텝에 걸쳐 전개된 뒤 마지막 스텝에서만 디코딩됩니다.

LoopWM은 스펙트럼 안정화와 더불어, 디코딩을 롤아웃 시퀀스의 마지막 스텝까지 미루고(지연 디코딩, 연산 비용을 낮추고 장기 계획에 더 적합한 잠재 구조를 만들어냅니다), 학습된 종료 게이트로 적응적 연산을 수행합니다. 게이트 신호가 임곗값 $τ$ 를 넘으면 반복이 조기 종료되어, 쉬운 전이는 반복 횟수가 적고 충돌 같은 어려운 전이는 반복 횟수가 많아집니다. 학습 중에는 반복 횟수 $T$ 를 포아송 분포 $Poisson (μ_{rec})$ 에서 샘플링하고 절단된 BPTT와 결합해, 모델이 테스트 시점에 가변 깊이 추론을 지원하도록 합니다. ScienceWorld와 AlfWorld에서, 파라미터 약 10억 개 규모의 LoopWM은 100배 더 큰 비공개 베이스라인들을 여러 지표에서 앞지르면서도 장기 호라이즌 태스크에서 안정적이었고, 예측 품질은 반복 횟수가 늘어날수록 계속 향상되어, 반복적인 잠재 깊이를 모델 크기나 데이터 양과 직교하는 세 번째 스케일링 축으로 자리매김시켰습니다.

학습 패러다임: 상호작용형입니다. 동작 조건화 잠재 동역학 예측기로, RSSM이나 표준 Transformer 동역학 모델을 백본으로 곧바로 대체할 수 있습니다.

한계: 스펙트럼 안정화 제약은 업데이트 규칙 속 선형 유지 항에만 적용되며, 비선형 잔차 항에는 그에 상응하는 안정성 보장이 없습니다. 논문은 주로 텍스트 기반 상호작용 환경에서 검증되었고, 픽셀 수준의 연속 제어나 실제 로봇에서는 아직 충분히 검증되지 않았습니다.

아키텍처 9: World Model에서 World Action Model(WAM)로

대표 시스템: Motus(2025, Bi et al.), DreamZero / WAM(NVIDIA 2026)

Genie는 "비디오에서 암묵적으로 동작 표현을 발견하는" 길이 통한다는 것을 보여주었습니다. WAM 계열은 이 발상을 이어받아 한 걸음 더 나아가 묻습니다. 월드모델과 정책 모델이 정말 두 개의 분리된 모듈이어야 할까요? 로봇 팔이 움직이기 전에, 자신이 컵을 성공적으로 집어드는 짧은 비디오를 프레임 단위로 먼저 본다고 상상해보세요. WAM이 묻는 질문은, 그 비디오를 예측하도록 학습된 모델이 같은 순전파 과정에서 그 일을 실제로 일으키는 모터 명령까지 함께 출력할 수 있는가입니다.

패러다임	입력	출력
World Model	관측 + 동작	미래 관측 또는 상태
VLA(Vision-Language-Action model)	관측 + 언어 지시	동작
WAM	관측 + 언어 지시	미래 관측 + 동작

전통적인 World Model은 동작을 입력받아 미래 상태를 예측하는, 정책 옆에 놓인 시뮬레이터 역할을 합니다. VLA는 월드모델을 아예 우회해 시각 관측과 언어 지시로부터 곧바로 동작을 예측하는, 엔드투엔드 반응형 정책입니다. WAM은 이 둘을 동시에 하려고 시도합니다. 세계의 미래 상태를 예측하는 동시에 취해야 할 동작도 예측하는 것입니다. 이때 세계의 시각적 전개는 단순한 보조 과제가 아니라 동작 학습을 위한 조밀한 지도 신호(dense supervision)가 됩니다. 이는 episode가 끝날 때만 보상을 주는 희소 지도와 대비되는 개념입니다. 비디오의 매 프레임이 그라디언트 신호를 제공하므로, 학습 신호가 더 풍부하고 잦아집니다.

Motus(Bi et al., 2025)는 Genie의 LAM 모듈에서 쓰인 잠재 동작 발상을 그대로 이어받되, 이를 상호작용형 비디오 생성이 아니라 실제 로봇 제어 쪽으로 밀어붙입니다. 이종 비디오 데이터(동작 주석이 없는 대량의 인간 비디오와 로봇 시연 모두를 포함)에서 연속적인 잠재 동작이 자동으로 추출됩니다. 그런 다음 소량의 레이블 데이터가 이 잠재 동작들을 실제 로봇 제어에 정렬시킵니다. Motus의 핵심 기여는 "주석 없는 비디오에서 잠재 동작을 발견하는 것"과 "소량의 정렬 데이터셋으로 실제 제어로 전이하는 것"이라는 두 단계를 하나의 통일된 프레임워크로 통합했다는 점이며, 정교한 조작과 이동 과제에서 서로 다른 신체 형태 간의 전이 능력을 검증했습니다.

DreamZero / WAM(NVIDIA 2026)은 사전학습된 비디오 생성 백본을 이용해 미래 세계 상태와 로봇 동작을 동시에 예측하며, 비디오 시퀀스를 조밀한 지도 신호로 삼습니다. NVIDIA의 WAM(World Action Models) 논문은 "WAM을 제로샷 정책으로" 쓸 수 있다고 명시적으로 제안하는데, 사전학습된 비디오 생성 모델이 추가적인 RL 미세조정 없이도 곧바로 정책 추론 엔진 역할을 할 수 있다는 뜻입니다.

패러다임	지도 신호	손실
VLA	관측 시퀀스를 입력으로, 동작 시퀀스를 출력으로	동작 손실만
WAM	관측 시퀀스를 입력으로, 미래 프레임과 동작 시퀀스를 출력으로	비디오 재구성 손실 + 동작 손실, 서로를 강화

학습 패러다임: 네 번째 패러다임인 공동 학습입니다. 비디오와 동작은 같은 물리적 과정의 두 측면입니다. WAM은 비디오의 조밀한 물리적 지도 신호를 활용해, 정책이 단순히 동작 회귀만 하는 게 아니라 물리적 운동과 동작의 결과까지 학습하게 만듭니다.

이 일련의 연구가 보여주는 새로운 흐름: 월드모델은 더 이상 정책 옆에 놓인 시뮬레이터에 그치지 않고, 정책 자체의 일부가 되어가고 있습니다. 전통적인 모델 기반 RL 프레임워크에서 월드모델과 정책은 분리된 두 모듈입니다. WAM 계열은 세계의 동역학과 의사결정 로직을 함께 모델링하는 통합 모델을 학습시켜 이 분리를 허물고 있습니다. Cosmos(NVIDIA 2025)는 한 걸음 더 나아갑니다. 범용 물리 AI 파운데이션 모델로서 방대한 실제 비디오로 사전학습된 뒤 자율 주행이나 로보틱스 같은 다운스트림 과제에 맞춰 미세조정되며, 월드모델이라는 개념을 "단일 과제용 시뮬레이터"에서 "범용 물리 세계 인프라"로 확장시키고 있습니다.

비교 요약표

아키텍처 계열	학습 패러다임	핵심 강점	주요 약점	전형적인 활용 사례
RNN / RSSM	상호작용형	연산량 적음, 지연 낮음	장기 기억 약함, 생성 품질 제한적	온라인 RL, 실시간 제어
Transformer	상호작용형/관측형	장거리 의존성 강함, 병렬 학습 빠름	연산량이 시퀀스 길이에 제곱으로 증가	복잡한 게임, 다단계 계획
Diffusion	관측형/상호작용형	시각적 품질 매우 높음	추론 느림, 실시간 제어에 부적합	오프라인 시뮬레이션, 비디오 생성
JEPA	관측형	강건하고 효율적, 무관한 노이즈 무시	픽셀 출력 없음, 제어 응용 미성숙	의미 표현 사전학습
RWM	상호작용형	장기 롤아웃 안정적, 정책이 흔들리지 않음	연산량 높음(앙상블)	로봇 고빈도 제어, sim-to-real
공간 3D/4D	대체로 관측형	명시적인 다중 시점 일관성, 물체 지속성	렌더링 비용 큼, 다중 시점 또는 포즈 데이터 필요	자율주행 인지/예측, 정밀 조작
Genie	관측형으로 학습, 추론 시에는 상호작용형	동작 레이블 없이도 상호작용 생성 지원	잠재 동작이 실제 동작과 정렬되지 않음	상호작용형 비디오 생성, 데이터 사전학습
LoopWM	상호작용형	파라미터 효율적, 증명 가능한 장기 호라이즌 안정성	비선형 항에는 안정성 보장 없음, 픽셀/실제 로봇에서 미검증	장기 계획, 자원 제약 환경 배포
WAM	공동 학습	세계 예측과 동작 계획을 함께 최적화	아키텍처 복잡, 데이터 요구량 큼	엠보디드 AI, 정교한 조작

아키텍처는 어떻게 선택하나요?

실전 조언: P02에서 이미 안내한 대로 RNN/RSSM에서 시작해, 병목에 부딪혔을 때만 업그레이드하면 됩니다. 긴 시퀀스에서 예측 정확도가 계속 떨어지거나 여러 스텝에 걸친 인과 추론이 필요한 과제라면 Transformer로 전환을 고려해볼 만하고, 병목이 특히 긴 롤아웃에서 오차가 발산하며 누적되는 것이라면 LoopWM의 스펙트럼 안정화가 더 파라미터 효율적인 경로를 제공합니다. Diffusion은 추론 비용이 크므로 온라인 제어보다 오프라인 시나리오를 위해 아껴두는 것이 좋습니다. JEPA의 제어 인터페이스는 아직 미성숙하지만 표현 학습 과제에서는 이미 실질적인 성과가 나오고 있어 지켜볼 가치가 있습니다. 주석 없는 비디오는 많지만 동작 레이블이 부족하다면, Genie의 잠재 동작 발견 메커니즘이 현재 가장 직접적인 진입점이지만 실제 제어를 하려면 여전히 정렬 단계가 필요합니다. 물체 지속성이나 다중 시점 기하 일관성이 반드시 필요한 요구 사항이라면(예: 자율주행 예측, 정밀 조작), 공간 3D/4D 표현이 추가 렌더링 비용을 들일 만한 가치가 있습니다. 실제 로봇을 다룬다면 Self-Forcing이나 앙상블 불확실성 같은 엔지니어링 기법이 아키텍처를 바꾸는 것보다 더 중요하니, 장기 안정성부터 해결하는 것이 좋습니다.

최전선 연구 동향: LoopWM, WAM, 그리고 아키텍처 선택 ​

흔한 오해 ​

아키텍처 8: 순환 동역학 모델(LoopWM) ​

아키텍처 9: World Model에서 World Action Model(WAM)로 ​