최전선 연구 동향: 공간 3D/4D 월드모델

아키텍처 6: 공간 3D/4D 월드모델

대표 시스템: NeRF(2020), 3D Gaussian Splatting(2023), 4D Gaussian Splatting과 동적 장면 확장(2024+)

JEPA는 무엇을 예측하는지를 픽셀에서 의미 표현으로 바꿨습니다. 공간 3D/4D 모델은 예측이 어디서 일어나는지를 바꿉니다. 상태가 평평한 잠재 벡터나 2D 픽셀 격자가 아니라 3D 장면 기하학을 명시적으로 표현한 것이 되고, 예측은 그 기하 구조 위에서 직접 이루어집니다.

흔한 오해 하나: 사실적인 3D 재구성은 이미 월드모델이다

L01은 렌더러와 시뮬레이터를 구분했습니다. 렌더러는 세계가 어떻게 보이는지에 답하고, 시뮬레이터는 세계가 어떤 상태에 있으며 어떻게 변화하는지에 답합니다. 정적인 NeRF나 3D Gaussian Splatting 장면은 새로운 시점에서 아무리 기하학적으로 정확하게 렌더링되더라도, 답하는 것은 오직 렌더러의 질문뿐입니다. 학습 중에 직접 본 적 없는 각도에서 이 장면이 어떻게 보이는가 하는 질문입니다. 이 표현이 시뮬레이터의 역할을 맡으려면, 관측된 궤적이나 에이전트의 동작에 따라 그 기하 구조가 변형될 수 있게 해주는 4D 확장이 있어야 합니다. 기하학적 정밀도와 동역학 능력은 서로 다른 축이며, 이는 이 강좌를 시작할 때 다룬 렌더러에서 시뮬레이터로 가는 그 간극이 서로 다른 시스템 사이가 아니라 하나의 표현 방식 안에서 다시 나타난 것입니다.

평평한 잠재 벡터가 놓치는 것

지금까지 다룬 RSSM, Transformer, Diffusion 백본은 모두 관측을 2D 이미지(또는 그 시퀀스)로 취급해 벡터나 토큰 격자로 압축합니다. Atari나 DMControl처럼 2D 시각 패턴으로 정의되는 제어 과제에는 이 방식이 잘 맞습니다. 하지만 특정 실패 양상에는 약합니다. 물체 지속성(잠시 가려지거나, 화면 밖으로 나가거나, 새로운 각도에서 보이더라도 물체가 여전히 존재하며 원래 위치를 유지한다고 이해되어야 한다는 것)과 다중 시점 일관성(같은 물리적 장면을 서로 다른 카메라 위치에서 관측했을 때, 디코딩된 결과가 기하학적으로 일관되어야 한다는 것)입니다. 2D 잠재 벡터에는 "사물이 3D 공간의 어디에 있는가"에 대한 명시적 개념이 없어서, "가려진 물체는 사라진 것이 아니다"라는 물리적 제약을 모델의 예측이 지키도록 강제하는 장치가 전혀 없습니다.

공간 월드모델은 잠재 상태 자체에 실제 3D 구조를 부여해 이 문제를 해결합니다.

핵심 메커니즘: 기하 구조를 직접 표현하기

📖 카메라 기하학 기초: 카메라 포즈는 3D 공간에서 카메라의 위치와 방향을 지정하며, 보통 회전 행렬과 이동 벡터로 표현합니다. 깊이는 카메라에서 장면의 각 지점까지의 거리로, 픽셀마다 하나의 값을 갖습니다. 어떤 픽셀의 깊이와 카메라 포즈가 주어지면, 그 픽셀을 3D 공간의 한 점으로 역투영할 수 있습니다. 포인트 클라우드는 이런 3D 점들의 집합으로, 점들 사이에 연결 관계는 없습니다. 이 개념들 덕분에 시스템은 "이 시점에서 장면이 어떻게 보이는가"와 "이 점이 세계의 어디에 있는가" 사이를 서로 변환할 수 있는데, 평평한 잠재 벡터는 이 관계를 암묵적으로 학습하지 않는 한 이런 변환을 할 수 없습니다.

3D 구조를 명시적이고 학습 가능하게 만드는 대표적인 방법이 둘 있습니다.

NeRF(Neural Radiance Fields, Mildenhall et al., 2020)는 장면을 하나의 연속 함수로 표현합니다. 3D 점 하나와 시선 방향이 주어지면, 신경망이 색상과 밀도를 출력합니다. 특정 카메라 포즈에서 이미지를 렌더링하는 과정은, 각 픽셀을 통과하는 광선을 쏘고, 그 광선을 따라 여러 점을 샘플링한 뒤, 예측된 색상과 밀도를 적분하는 방식으로 이루어지며, 이를 볼륨 렌더링이라 부릅니다. 장면 표현 $\mathrm{\Theta }$는 신경망의 가중치이고, 렌더링 결과는 $I=\text{Renderer}(\mathrm{\Theta },c)$로 쓸 수 있는데, 여기서 $c$는 카메라 포즈이며 L01의 아홉 칸 표에서 나온 것과 동일한 수식입니다. NeRF는 이미지 한 장을 렌더링하려면 광선 하나당 여러 점에서 신경망을 여러 번 평가해야 하는데, 그런 광선이 수없이 많아 비용이 큽니다.

3D Gaussian Splatting(Kerbl et al., 2023)은 암묵적인 신경망 함수 대신 명시적인 3D 가우시안 집합으로 장면을 표현합니다. 각 가우시안은 위치, 공분산(형태와 방향), 색상, 불투명도를 가집니다. 렌더링은 이 가우시안들을 이미지 평면에 투영하고 혼합하는 방식으로 이루어지며, 볼륨 렌더링보다 훨씬 저렴해 실시간 렌더링 속도를 낼 수 있습니다. 가우시안 집합은 불투명한 신경망 가중치가 아니라 명시적이고 편집 가능한 집합이기 때문에, 원칙적으로는 개별 물체를 조작하거나 시간에 걸쳐 추적할 수 있습니다.

3D에서 4D로: 시간 차원 더하기

정적인 NeRF나 정적인 가우시안 장면은 "이 장면이 어떻게 생겼는가"에 답할 뿐이며, 이는 L01의 분류 체계에서 L1 압축 역량에 해당할 뿐 아직 동역학 모델은 아닙니다. 4D 확장은 시간 또는 상태 차원을 더합니다. 각 가우시안(또는 방사 필드 자체)이 시간에 따라 변형되도록 허용하되, 관측된 궤적을 조건으로 삼거나, 동작 조건화 설정에서는 에이전트의 동작을 조건으로 삼습니다. 그 결과로 만들어지는 것이 장면 흐름으로, 3D 공간에서의 광학 흐름에 해당합니다. 장면의 각 부분이 프레임 사이에서 어떻게 움직이는지를 나타내는, 지점별 속도장입니다. 장면 흐름을 시간에 따라 앞으로 예측하는 것은 L02에서 다룬 동역학 예측 $z_{t+1}=\text{Predictor}(z_{\le t})$의 3D/4D 월드모델 버전에 해당하며, 차이는 앞으로 굴려지는 표현이 추상적인 벡터가 아니라 명시적인 3D 기하 구조라는 점뿐입니다.

📖 다중 시점 일관성을 통한 물체 지속성: 3D 표현은 서로 다른 카메라 포즈가 같은 하나의 기하 구조를 각기 다르게 렌더링한 것일 뿐이므로, 시점 사이에서 자연스럽게 공유됩니다. 프레임마다 독립적으로 예측하는 대신 하나의 일관된 3D/4D 상태를 유지하는 모델이라면, 움직이는 카메라 때문에 잠시 시야에서 벗어난 물체를 다시 등장했을 때 "재발견"할 필요가 없습니다. 이는 프레임 단위 2D 예측 대비 구조적인 강점입니다. 프레임 단위 예측에는 가려짐 전후의 두 프레임이 일관되도록 강제하는 장치가 전혀 없기 때문입니다(L03 백본 선택에서 다룬 Diamond의 프레임 단위 Diffusion 과정이 갖는 물체 지속성 약점과 같은 문제로, 2D 전용 예측기 전반에 적용됩니다).

학습 패러다임: 주로 관측형입니다. 대부분의 NeRF와 3DGS 학습은 다중 시점 이미지나 비디오로부터 정적이거나 수동적으로 관측된 동적 장면을 재구성하며, 동작 레이블이 필요 없습니다. 로보틱스와 자율주행 연구에는 동작 조건화 4D 월드모델도 존재하지만(로봇이나 차량의 동작이 주어졌을 때 장면이 어떻게 변형되는지를 예측), 백본 선택에서 다룬 2D 동작 조건화 백본들만큼 성숙하지는 않았습니다.

적용 시나리오: 자율주행 인지와 예측(차량 주변 공간을 위에서 내려다본 격자로 나눠 칸마다 물체가 있는지를 예측하는 조감도 점유 예측은, 완전한 4D 장면 모델링을 복셀 단위로 거칠게 근사한 버전입니다), 정밀한 3D 물체 자세가 중요한 로봇 조작, 그리고 다중 시점 일관성이나 물체 지속성이 부수적인 이점이 아니라 최우선 요구 사항인 모든 환경입니다.

한계: 명시적인 3D 기하 구조를 표현하고 렌더링하는 데는 평평한 잠재 벡터보다 더 많은 연산과 메모리가 들고, 학습에는 보통 다중 시점 데이터(같은 장면을 찍은 여러 카메라 각도)나 정밀한 카메라 포즈 주석이 필요한데, 둘 다 단일 시점 비디오보다 대규모로 수집하기 어렵습니다. 수동적인 재구성과 달리, 동작 조건화 4D 동역학 예측은 아직 해결된 요소라기보다는 활발한 연구 문제로 남아 있습니다.

다음: Genie

공간 3D/4D 모델은 표현의 기하 구조를 바꾸면서도 학습 방식은 대체로 관측형을 유지합니다. 다음 페이지는 다시 2D 설정으로 돌아와 다른 질문을 던집니다. 3D 구조도, 동작 레이블도 전혀 없이, 오직 레이블 없는 비디오만으로 모델이 동작 그 자체를 발견할 수 있을까요?

더 읽을거리

• Mildenhall et al.(2020): NeRF: 장면을 연속적인 볼륨 방사 필드(volumetric radiance field)로 표현하고, 광선 투사와 적분으로 렌더링합니다.
• Kerbl et al.(2023): 3D Gaussian Splatting: NeRF의 대안으로, 비등방성 가우시안 집합을 이용해 명시적이고 실시간 렌더링이 가능합니다.
• L1-L5 역량 계단의 표현 대상 × 역량 2차원 표를 다시 읽어보면, 3D/4D 표현이 표현 대상 축에서 특징/잠재 변수, 픽셀/비디오와 어떻게 나란히 놓이는지 알 수 있습니다.