철학적 후기: 행화 인지와 월드모델이 아직 놓치고 있는 것

이 강의에서 다룬 논쟁들은 대부분 그 분야 내부에서 벌어진 것들, 즉 언어파 대 월드모델파, JEPA 대 WAM, 스케일링 대 구조 설계 같은 것들이었습니다. 하지만 이 모든 논쟁을 외부에서 가로지르는 하나의 비판이 있습니다.

2025년, Banafsheh Rafiee와 Richard Sutton은 논문 Toward Enactive Artificial Intelligence(arXiv:2605.24238)를 발표해, LLM과 비전 모델, 월드모델을 포함한 현재의 모든 AI가 생물학적 에이전트가 보여주는 인지에 비해 실제로 어디에 서 있는지를 점검했습니다. 이들의 프레임워크는 AI 연구가 아니라 인지과학에서 나옵니다. 이 외부의 관점 덕분에, 내부 논쟁에서는 가려지기 쉬운 것들이 드러납니다.

수동적 표상의 한계

AI의 주류 패러다임은 상징적이든 신경망 기반이든 공통된 구조를 따르는데, 입력을 받고, 내적 표상을 구축하고, 그 표상 위에서 추론하고, 동작을 출력하는 것입니다. 이 관점에서 지능이란 곧 내적 표상의 질입니다. 세계를 더 잘 모델링할수록 더 나은 행동이 나옵니다.

Rafiee와 Sutton은 이를 표상주의(representationalism)라고 부르며, 여기에 구조적인 한계가 있다고 주장합니다.

세계는 열려 있고, 동적이며, 무한히 복잡합니다. 어떤 유한한 내부 모델도 이를 완전히 담아낼 수 없습니다. 로봇공학자 Rodney Brooks는 1991년에 같은 지적을 더 직설적으로 표현했습니다. "세계 그 자체가 세계의 가장 좋은 모델이다." 이는 완전성에 대한 주장이지 필요성에 대한 주장이 아닙니다. L01에서 이미 확인했듯, 일반적이고 목표 지향적인 에이전트는 어떤 내부 모델을 학습하는 것을 피할 수 없습니다. Brooks의 지적은 여기서 더 날카로워지며, 그 결과와도 온전히 양립합니다. 그런 에이전트가 무엇을 학습하든 그것은 언제나 손실이 있는 압축일 뿐이며, 어떤 상황에 대해서든 가장 최신이고 가장 풍부하며 가장 정확한 정보는 여전히 세계 그 자체에 있지, 그것을 복사한 내부 사본에 있지 않습니다.

이는 새로운 관찰이 아닙니다. Rafiee와 Sutton이 더한 것은 체계적인 대안 프레임워크, 즉 행화 인지(enactive cognition)입니다. 그 핵심 주장은, 인지란 미리 형성된 표상을 처리하는 것이 아니라, 체화된 에이전트와 그 환경 사이의 지속적인 상호작용 속에서 생성된다는 것입니다. 지각, 인지, 행동은 파이프라인이 아니라 서로를 구성하는 관계이며, 실제로는 분리할 수 없습니다.

이것이 무엇을 요구하는지 이해하려면, 행화 인지의 실제 요건을 살펴보는 게 도움이 됩니다.

네 개의 기둥

이 프레임워크는 진정한 의미의 행화적 지능을 함께 규정하는 네 가지 속성 위에 서 있습니다.

경험: 데이터가 아니라, 에이전트 자신의 행동과 결과의 역사입니다. 지도학습 모델은 타인의 경험이 데이터셋으로 압축된 흔적으로부터 배웁니다. 행화적 경험은 에이전트 스스로가 행동하고, 결과를 관찰하고, 실패하고, 수정할 것을 요구합니다. 강화학습이 기존 패러다임 중 이에 가장 가깝지만, 강화학습조차도 대개는 에이전트 자신의 자기 유지 과정에서 자연스럽게 생겨나는 게 아니라 외부 엔지니어가 설계한 보상 함수에 의존합니다.

지각-행동의 불가분성: 지각은 행동에 앞서는 입력이 아니라, 그 자체가 하나의 행동 형태입니다. 인간은 시각 입력을 수동적으로 받아들이지 않습니다. 우리는 눈, 머리, 몸을 움직여 능동적으로 환경 구조를 드러냅니다. 자신이 무엇을 관측하게 될지 예측만 할 뿐, 움직임을 통해 무엇을 관측할지를 바꿀 수 없는 시스템은, 세계와 근본적으로 빈약한 관계를 맺고 있는 셈입니다.

자율성: 에이전트는 자극-반응 기계가 아니라 자기 조직화 시스템입니다. 환경 속 사물은 그것이 에이전트 자신의 목표와 존속에 관련되기 때문에 의미를 갖습니다. 진정으로 자율적인 시스템은 성공과 실패의 기준을 외부 레이블이나 보상 함수로부터 지정받는 게 아니라, 자기 내부의 동역학으로부터 스스로 만들어냅니다.

체화: 몸은 다른 곳에서 계산된 계획을 실행하는 플랫폼이 아닙니다. 몸의 구체적인 형태, 센서 배치, 운동 능력이 환경이 무엇을 의미하는지, 그리고 어떤 어포던스(affordance)가 가능한지를 결정합니다. 같은 의자라도 인간에게는 "앉을 수 있는 것"이지만, 개미에게는 장애물이고, 로봇에게는 관절 구조와 제어 대역폭의 함수일 뿐입니다. 지능은 고전적인 AI가 가정하는 것처럼 기반(substrate)과 무관하지 않습니다.

월드모델은 지금 어디에 있는가

이 네 기둥에 비추어 보면, 월드모델은 LLM보다 확실히 나은 위치에 있지만, 여전히 중요한 지점에서 부족합니다.

Dreamer 시리즈는 행동하기 전에 잠재 공간에서 동작의 결과를 시뮬레이션하는 데 월드모델을 명시적으로 사용합니다. 이는 순수하게 반응적인 시스템에는 없는 일종의 예측적 선견입니다. 이것이 지각-행동 간극의 일부를 메꿔줍니다. 정책은 동작을 뒤늦게 덧붙이는 게 아니라 처음부터 핵심 입력으로 포함하는 "꿈" 속에서 학습합니다.

하지만 나머지 세 기둥에서는 여전히 간극이 남아 있습니다.

경험 측면에서 보면, 월드모델은 여전히 오프라인 데이터셋이나 세심하게 관리된 시뮬레이션 환경에서 학습됩니다. 그 데이터는 엔지니어가 설계한 것이지, 자신의 생존을 추구하는 에이전트가 만들어낸 것이 아닙니다. 월드모델은 고정된 궤적으로부터 동역학을 배울 뿐, 자기 자신의 필요에 이끌린 개방형 탐색을 통해 그것을 획득하지 않습니다.

자율성 측면에서 보면, Dreamer와 TD-MPC의 보상 함수는 외부에서 주어집니다. 에이전트는 무엇을 신경 쓸 가치가 있는지 스스로 결정하지 않습니다. 인간이 목표를 정하고, 에이전트는 그것을 최적화할 뿐입니다. 내재적 동기(intrinsic motivation) 연구는 RL의 주변부에 존재하지만, 아직 어떤 주요 월드모델 아키텍처에도 대규모로 통합되지 않았습니다.

체화 측면에서 보면, 이 커리큘럼에 나온 월드모델들은 대부분 고정된 시점의 카메라나 표준화된 센서로부터 얻은 픽셀 관측 위에서 작동합니다. 몸의 구체적인 구조, 그것을 움직여 새로운 정보를 드러내는 방식, 그 특정한 구성으로부터 따라 나오는 어포던스, 이런 것들은 현재 월드모델이 학습해 활용하는 대상이 아닙니다.

이 프레임워크가 드러내는 것

행화 인지 프레임워크는 L05의 아키텍처 논쟁을 해결해주지는 않지만, 그 논쟁들이 진짜로 무엇에 관한 것인지를 바꿔놓습니다.

JEPA 대 WAM 질문은 예측이 어디서 일어나야 하는가, 즉 픽셀 공간인가 표현 공간인가를 묻습니다. 행화적 관점에서 보면, 이는 이차적인 질문입니다. 더 중요한 건 에이전트의 예측 능력이 자기 자신의 행동 이력과 스스로 만들어낸 목표에 결부되어 있는가, 아니면 미리 수집된 데이터를 수동적으로 관찰할 뿐인가입니다. 오프라인 궤적으로만 학습된 월드모델은, 아키텍처가 무엇이든 간에, 행화적 의미에서는 여전히 대체로 수동적입니다. 아키텍처 질문은 실재하지만, 학습이 어떻게 뿌리내리는가라는 더 근본적인 질문에 달린 부차적인 문제일 뿐입니다.

언어파 대 월드모델파 논쟁도 다르게 보입니다. 양쪽 모두, 통상적으로 던져지는 방식대로라면, "어떻게 더 나은 내적 표상을 만들 것인가"를 묻고 있습니다. 행화 인지는 표상이 아무리 정확하더라도 그것만으로 충분할 수 있는가를 묻습니다. Brooks의 말은 더 나쁜 표상을 옹호하는 주장이 아니라, 에이전트와 세계 사이의 관계는 그 어떤 모델 안에도 완전히 담길 수 없다는 주장입니다.

Rafiee와 Sutton, 그리고 월드모델파가 수렴하는 지점이 있습니다. 앞으로 나아갈 길은 더 많은 수동적 관측을 쌓는 것이 아니라, 물리 세계에서 행동에 뿌리내린 학습을 거쳐야 한다는 것입니다.

이들이 갈라지는 지점도 있습니다. 월드모델 연구자들은 아키텍처와 규모에 초점을 맞추는 반면, Rafiee와 Sutton은 빠진 요소가 아키텍처가 아니라 관계에 있다고 주장합니다. 즉 현재의 어떤 시스템도 구현하지 못한, 에이전트와 몸과 환경 사이의 다른 종류의 결합이라는 것입니다.

여러분에게 남기는 질문

Rafiee와 Sutton은 행화 인지에 가장 가까운 패러다임인 강화학습조차도 자율성과 체화 면에서는 여전히 부족하다고 주장합니다. 그들이 옳다면, 공학적 수준에서 진정으로 행화적인 AI 시스템은 어떤 모습일까요? 학습 데이터를 수집하는 방식, 보상 신호를 설계하는 방식, 로봇의 몸을 만드는 방식 중 무엇이 바뀌어야 할까요?

그리고 더 어려운 질문이 있습니다. 인지가 근본적으로 행화적이라면, 표상에 저장되는 게 아니라 행동 속에서 생성되는 것이라면, "월드모델"을 분리 가능한 내부 모듈로 보는 개념 자체가 성립할 수 있을까요? 아니면 월드모델이란 결국 만드는 것이 아니라, 세계 안에서 올바른 방식으로 살아감으로써 획득하게 되는 속성일까요?

더 읽을거리

• Rafiee, B. & Sutton, R. S.(2025). Toward Enactive Artificial Intelligence: 이 후기의 원 논문
• Brooks, R.(1991). "Intelligence Without Representation." Artificial Intelligence 47(1-3): 139-159. "세계 그 자체가 세계의 가장 좋은 모델이다"라는 주장의 토대가 된 논문