잠재 동역학과 계획 효율: TD-MPC라는 실전 사례

TD-MPC(잠재 MPC)

TD-MPC는 L03에서 개념적으로 비교한 대상이지 P04에서 직접 구현하는 대상이 아닙니다. 여기서는 암묵적인 잠재 전이 모델에 의존해 계획을 세우는 경우라면 언제든 적용할 수 있는 진단법을 배우는 데 활용하세요.

TD-MPC의 핵심 요구 사항은 표현의 일관성입니다. 인코더 h = enc(o)가 서로 다른 시간 스텝에서 만들어내는 표현들이 서로 일관되어야, MPC가 잠재 공간에서 효과적으로 계획을 세울 수 있습니다.

잠재 일관성 손실(Latent Consistency Loss)

$${\mathcal{L}}_{\text{consist}}=\parallel \text{sg}(h_{t+1})-f(h_t,a_t){\parallel }^2$$

여기서 f는 동역학 함수이고 sg는 stop-gradient를 뜻합니다. 이 손실은 "동역학 함수가 예측한 다음 상태"와 "인코더가 다음 관측을 직접 인코딩한 결과" 사이의 거리를 측정합니다.

진단 규칙(표현 붕괴): sg를 제거했을 때 오히려 일관성 손실이 더 낮아진다면, 인코더가 모든 상태를 한 점으로 압축하는 항등 사상으로 퇴화했다는 뜻입니다. 정식으로 진단하려면 검증셋에서 잠재 벡터들의 공분산 행렬 계수(rank)를 확인하면 되는데, 계수가 1에 가까우면 붕괴입니다.(sg 메커니즘은 3강 계획과 제어의 TD-MPC 절에서 다뤘습니다.)

진단 규칙(학습 진동): 일관성 손실이 단조롭게 감소하지 않고 학습 중에 진동한다면(불안정하게 오르내린다면), 학습률이 지나치게 높거나 인코더와 동역학 함수의 그라디언트 스케일이 맞지 않는 것입니다. 학습률을 한 자릿수 낮추거나, 인코더에 별도의(더 작은) 학습률을 적용하는 것이 좋습니다.

잠재 공간 시각화(Latent Space Visualization)

정량적 지표만으로는 얻기 어려운 직관적인 통찰을 제공하는, 강력한 정성적 진단 도구입니다.

실험 절차: 2차원 연속 제어 태스크(예: Pendulum이나 HalfCheetah)에서 상태-동작 궤적 배치 하나를 수집하고, 인코더로 모든 관측을 잠재 공간에 매핑한 뒤, t-SNE(t-distributed Stochastic Neighbor Embedding, 고차원 벡터를 2차원 평면에 투영하는 비선형 차원 축소 알고리즘으로, 고차원에서 가까웠던 점들이 2차원에서도 가깝게 유지되도록 해 고차원 표현의 군집 구조를 시각화하는 데 흔히 쓰입니다)로 고차원 잠재 벡터를 2차원으로 축소해 시각적으로 살펴봅니다.

온전한 TD-MPC 잠재 공간이라면 다음을 만족해야 합니다.

• 물리적으로 가까운 상태(예: 진자 각도가 비슷한 상태)가 잠재 공간에서도 가까운 점으로 매핑됩니다(국소 등거리성).
• 같은 상태에서 서로 다른 동작으로 출발한 궤적들이 잠재 공간에서 일관된 방향을 향합니다(동작 예측 가능성).
• 롤아웃 스텝이 늘어날수록 궤적이 무작위로 튀지 않고 잠재 공간 안에서 매끄럽게 이동합니다.

진단 규칙: t-SNE 그림에서 같은 유형의 상태(예: "진자가 똑바로 선 상태")가 한데 모이지 않고 이곳저곳에 흩어져 있다면, 잠재 공간의 기하 구조가 뒤죽박죽이라는 뜻이며, MPC가 이 공간에서 세우는 계획은 물리적으로 아무 의미가 없습니다.

Hansen et al.(2022)의 TD-MPC 아키텍처. 인코더, 암묵적 동역학 함수, Q함수, CEM이라는 네 모듈이 함께 맞물려 작동합니다. 잠재 일관성 손실(sg(z_{t+1})과 d(z_t, a_t)을 정렬시킴)은 동역학 함수와 인코더를 서로 일관되게 유지시켜 표현 붕괴를 막습니다. 이것이 TD-MPC 전용 지표를 진단하는 출발점입니다.

계획 효율(Plan Efficiency)

무작위로 초기화된 정책에서 출발해 목표 보상 임계값(예: 최적 정책 보상의 80%)에 도달하기까지 필요한 MPC 계획 스텝 수로 정의되며, 스텝 수가 적을수록 계획 효율이 높습니다.

진단 규칙: 계획 효율이 낮다면(수렴까지 스텝 수가 많이 필요하다면), CEM의 엘리트 비율이 너무 낮게 설정됐거나 계획 호라이즌이 너무 짧아 근시안적인 계획이 장기 보상을 놓치고 있는 것입니다.