실전 배포 평가: 논문 지표를 넘어서

앞서 다룬 다섯 모델의 지표 체계는 모두 통제된 실험실 환경을 전제로 설계되었습니다. 정제된 데이터셋, 재현 가능한 시뮬레이션 환경, 대조 실험을 반복할 수 있는 충분한 연산 자원이 갖춰진 상황입니다. 하지만 월드모델이 실전 배포에 들어가는 순간, 모든 것이 훨씬 복잡해집니다.

왜 논문 지표만으로는 부족한가

FID(Fréchet Inception Distance, 이미지 특징 분포 거리, 낮을수록 좋음), FVD(Fréchet Video Distance, 비디오 시퀀스 동역학 품질, 낮을수록 좋음), PSNR(Peak Signal-to-Noise Ratio, 높을수록 좋음)은 모델이 "정확하게 예측하는가"는 말해주지만, 다음 질문에는 답하지 못합니다.

• 월드모델 안에서 정책이 학습한 동작을, 실제 로봇 하드웨어가 정말로 실행할 수 있는가?
• 센서 지연과 비동기성이 월드모델의 시간적 가정을 무너뜨리지는 않는가?
• 월드모델이 특정 상태에 대해 불확실해할 때, 시스템이 이를 감지해 안전하게 사람의 개입을 요청할 수 있는가?

실전 배포에서 월드모델은 긴 사슬 속 한 고리일 뿐입니다.

전체 제어 사슬은 여섯 단계를 거칩니다. 센서에서 시작해 상태 추정, 월드모델, 플래너 또는 정책, 저수준 제어를 차례로 거쳐 최종적으로 액추에이터(actuator, 제어 신호를 실제 물리적 움직임으로 바꾸는 구동장치)를 구동합니다. 논문 지표는 이 중 월드모델이라는 상자 하나만 측정할 뿐입니다. 다른 어느 단계에서든 실패가 일어나면 모델 품질과 무관하게 시스템 전체가 실패합니다.

이 사슬의 어느 한 고리라도 실패하면 시스템 전체가 실패합니다. 논문 지표는 "월드모델"이라는 상자 하나의 입출력 품질만 측정할 뿐, 사슬 전체의 신뢰성은 측정하지 않습니다.

실전 배포에서 무엇을 기록하고 평가해야 할까요

동역학 품질

• 한 스텝 예측 오차: 단기 동역학이 정확한가
• 여러 스텝 롤아웃 오차: 장기 예측이 드리프트를 보이는가(5/10/20스텝)
• 접촉 예측 정확도: 접촉, 미끄러짐, 낙하, 걸림을 모델이 정확히 예측하는가

불확실성과 신뢰성

• 불확실성 캘리브레이션: 높은 불확실성이 실제로 높은 오차와 대응하는가. Expected Calibration Error(ECE)로 측정합니다.

📖 캘리브레이션(calibration): 모델이 "80% 확신한다"고 말했을 때, 실제 정확도도 80%에 가까운가요? 잘 캘리브레이션된 모델은 확신도가 실제 정확도와 같습니다. ECE는 확신도를 구간별로 나눈 뒤 각 구간에서 확신도와 실제 정확도의 차이를 가중 평균한 값으로, 낮을수록 좋습니다.

정책 전이

• 정책 전이 격차: 월드모델 안에서 학습한 정책을 실제 로봇으로 전이했을 때 발생하는 누적 보상 손실(sim-to-real gap)

인간-로봇 협업

• 개입률: 시간당 몇 번의 사람 개입이 필요한가
• 실패 회복률: 중간 실패 상태에서 시스템이 회복할 수 있는가

시스템 성능

• 지연 시간: 관측에서 동작까지의 주기가 요구되는 제어 주파수를 만족하는가(실시간 계수: sim_speed / real_speed ≥ 1)

배포 제약으로서의 데이터와 연산 예산

지금까지의 논의는 모두 모델을 애초에 학습시킬 수 있다는 것을 전제로 하는데, 이 전제 자체도 기록해둘 가치가 있는 시스템 수준의 제약입니다. 월드모델이 과제에 필요한 규모에 도달할 수 있는지는 세 가지 요인이 결정합니다.

• 데이터 구성 비율: 학습 데이터는 보통 비용과 커버리지가 크게 다른 여러 출처를 섞어서 씁니다. 수동적으로 수집한 비디오(저렴하고 양이 많지만 동작 레이블이 없음), 동작 레이블이 있는 비디오나 텔레오퍼레이션 시연(비싸지만 정밀함), 시뮬레이션 롤아웃(저렴하고 무한히 반복 가능하지만 sim-to-real 격차가 있음), 실제 로봇 궤적(가장 실제에 가깝지만 가장 희소함)입니다. 이 구성 비율은 나중에 덧붙이는 것이 아니라 의도적으로 저울질해야 할 설계적 결정입니다. 시뮬레이션 데이터 비중이 너무 크면 모델이 실제 센서 노이즈를 한 번도 못 본 채로 남을 위험이 있고, 동작 레이블이 있는 데이터가 너무 적으면 동작 조건화에 대한 지도가 부족해집니다.
• 토크나이저 처리량: Transformer와 Diffusion 백본(L03 백본 선택)의 경우, 비디오 토크나이저의 인코딩/디코딩 속도가 학습 반복 시간의 하한선을 결정하며, 토크나이저가 추론 시점에도 동작한다면 폐루프 제어 지연 시간까지 결정합니다. 더 공격적으로 압축하는 토크나이저는 학습은 더 빠르지만 시각적 디테일을 더 많이 버리는데, 이는 L02에서 다룬 VAE 인코더의 재구성-압축 트레이드오프가 시스템 규모에서 다시 나타난 것입니다.
• 연산 배분: 연산 예산이 고정되어 있을 때, 토크나이저나 인코더에 쓰는 파라미터는 동역학 모델이나 정책에 쓰지 못하는 파라미터이고, 그 반대도 마찬가지입니다. 보편적으로 올바른 배분 비율은 없으며, 이 강의 앞부분에서 소개한 진단 계층 중 현재 어느 구성 요소의 오차가 지배적인지에 따라 달라집니다. 표현 계층 진단에서 정보 손실이 나타난다면 인코더에 더 투자해야 하고, 장기 롤아웃이 병목이라면 동역학 모델에 더 투자해야 합니다.

이 수치들은 어떤 벤치마크 순위표에도 등장하지 않지만, 자신의 데이터와 연산 예산 안에서 재학습될 수 없는 시스템은 배포 이후 최신 상태를 유지할 수 없으므로, 이는 순수한 학술적 문제가 아니라 배포의 문제입니다.