모델에 무관한 진단 프레임워크

월드모델은 관측, 잠재 상태, 예측된 미래, 과제 수행 신호, 동작을 잇는 인터페이스의 집합입니다. 평가는 "어떤 지표를 보고할 것인가"보다 "어떤 인터페이스가 실패했는가"를 먼저 물을 때 다른 모델로도 옮겨 쓸 수 있게 됩니다.

여섯 가지 진단 질문

층	질문	수집할 증거	총 리턴이 가릴 수 있는 실패
표현	잠재 상태가 과제에 필요한 구분을 보존하는가?	프로브 정확도, 잠재 변수의 분산과 랭크, 섭동 테스트	표현이 붕괴했거나 무관한 요인이 지배하는 경우
한 스텝 동역학	전이가 동작의 즉각적인 효과를 예측하는가?	홀드아웃 전이·보상·종료 오차, 반대 동작 테스트	동작을 무시하는 예측
장기 롤아웃	예측이 다시 입력으로 쓰일 때도 오차가 통제되는가?	오차-호라이즌 곡선, free-running 롤아웃, 정체성과 기하 구조 추적	teacher forcing과의 격차, 드리프트
과제 수행 신호	보상·가치·종료 추정이 실제 결과에 맞게 캘리브레이션되어 있는가?	보상 상관관계, 가치 오차, 캘리브레이션 곡선, 분포 밖 구간	시각적으로는 그럴듯하지만 의사결정에는 쓸모없는 미래
플래너 또는 정책	예측된 가치가 실제 동작 선택을 개선하는가?	탐색 개선폭, 계획 효율, 실제-상상 리턴 격차, 악용 테스트	모델 결함을 최적화해버리는 경우
배포 루프	센싱, 타이밍, 제어, 불확실성, 안전 가정이 데이터셋 밖에서도 유지되는가?	지연 시간, 개입 빈도, 전이 성능, 불확실성 커버리지, 제약 위반	학습된 모델의 범위 밖에서 일어나는 실패

여섯 층을 모두 커버하는 단일 지표는 없습니다. FID와 PSNR은 관측 예측에 대해서는 무언가를 말해주지만 동작의 인과성에 대해서는 거의 말해주지 않습니다. 에피소드 리턴은 전체 루프를 검증하지만 실패 지점을 짚어내지는 못합니다. 쓸모 있는 평가 스위트는 국소적 테스트와 엔드투엔드 테스트를 모두 포함해야 합니다.

의존 순서대로 진단하기

1. 표현의 다양성과 과제 관련성을 검증합니다.
2. 홀드아웃 데이터에서 한 스텝 전이를 테스트하며, 동작만 바꾸는 개입도 포함합니다.
3. free-running 롤아웃을 실행하고 호라이즌에 따른 오차를 그래프로 그립니다.
4. 보상·가치·종료 예측을 실제 결과와 대조해 검증합니다.
5. 계획 전후의 동작 순위를 비교한 뒤, 선택된 동작을 실제 환경에서 검증합니다.
6. 배포 환경의 분포 변화 아래에서 캘리브레이션, 지연 시간, 안전 제약, 사람의 개입 빈도를 측정합니다.

가장 먼저 실패하는 층에서 멈춰야 합니다. 다운스트림 점수도 계속 기록할 수는 있지만, 업스트림 결함이 통제되기 전까지는 그 점수로 해결책을 결정해서는 안 됩니다.

세 가지 평가 조건

• 분포 내(in-distribution) 궤적은 기본적인 구현이 올바른지 검증합니다.
• 정책이 바뀐(policy-shifted) 궤적은 더 새롭거나 더 최적화된 정책으로 수집되어, 모델 악용과 리플레이 데이터의 노후화를 드러냅니다.
• 메커니즘이 바뀐(mechanism-shifted) 궤적은 물체 조합, 동역학 파라미터, 지연, 동작 크기를 바꿔 인과적 일반화를 검증합니다.

각 조건은 롤아웃 호라이즌과 불확실성에 따라 계층을 나누어 평가해야 합니다. 평균값 하나만 보면, 모델이 흔한 한 스텝 전이에서는 안정적이면서도 드문 장기 호라이즌 사례에서는 안전하지 않다는 사실이 가려질 수 있습니다.

최소한의 평가 기록

모델 체크포인트, 데이터셋 또는 환경 버전, 데이터 수집에 쓰인 정책 버전, 시드, 호라이즌, 동작 분포, 지표 구현, 에피소드별 원본 결과를 저장해야 합니다. 이 항목들이 없으면 점수를 재현할 수도, 어떤 구성 요소의 변화 때문인지 귀속시킬 수도 없습니다.

이어지는 페이지들은 이 프레임워크를 적용한 실전 사례입니다. Dreamer는 표현과 과제 수행 신호를, TD-MPC는 잠재 일관성과 계획 효율을, MuZero는 가치와 탐색을, STORM은 free-running 자기회귀 롤아웃을, Diamond는 물리적 일관성과 동작 조건화 일관성을 각각 중점적으로 다룹니다.