제2강: 상태 추정, 관측 인코딩과 잠재 동역학

Dreamer의 핵심 문제는 지각을 어떻게 압축하고 미래를 어떻게 예측할지에만 머물지 않습니다. 먼저 한 장의 관측이 상태 전체를 보여주지 않을 때 모델이 무엇을 기억해야 하는지 물어야 합니다. 그 다음에는 학습 중 정확한 모델이 자신의 예측 위에서도 안정적으로 전개되는지 물어야 합니다.

이 강의를 마치면 관측, 숨은 상태, 믿음 상태를 구분하고, VAE와 RSSM의 역할 분담을 설명하며, 단일 스텝 손실이 아니라 자유 롤아웃으로 모델이 계획에 적합한지 판단할 수 있어야 합니다.

• 관측, 상태, 믿음 상태: 부분 관측성, 이력 기억, 예측과 보정, RSSM 사전 분포와 사후 분포의 관계
• 관측 인코딩: VAE 인코더-디코더, ELBO, CNN 인코더, 그리고 재구성 목표가 보장하는 것과 보장하지 않는 것
• 잠재 동역학: GRU와 MDN-RNN에서 RSSM의 결정론적/확률적 이중 경로까지
• 학습 분포와 자유 롤아웃: teacher forcing, 사전 상상, 장기 표류, 모델 불확실성과 계획 위험
• Dreamer 시리즈의 진화: 앞의 구성요소를 완전한 시스템 안에 놓고 각 세대가 해결한 병목 이해하기

“관측, 상태, 믿음 상태”와 “관측 인코딩”을 읽은 뒤 P01을 완료하세요. 이어서 “잠재 동역학”과 “학습 분포와 자유 롤아웃”을 읽고 P02를 진행합니다. 그러면 프로젝트의 각 지표가 분명한 모델링 문제에 대응하게 됩니다.