자기회귀 언어모델은 사실 에너지 기반 모델이다: 다음 토큰 예측의 계획 능력
목차
개요
이 논문은 “Autoregressive Language Models are Secretly Energy-Based Models”라는 제목으로, Anthropic의 Mathieu Blondel 외 연구진이 발표했다. 현재 대규모 언어모델(LLM)을 지배하는 자기회귀 모델(ARM, Autoregressive Model)과, 전체 수열 수준의 분포를 정의하는 에너지 기반 모델(EBM, Energy-Based Model)이 사실은 함수 공간에서 정확히 대응된다는 것을 증명한다.
핵심 문제의식은 다음 토큰 예측이 한 번에 한 토큰씩만 생성하는 “근시적(myopic)” 방식이라는 오랜 비판이다. 반면 EBM은 전체 수열에 대한 분포를 정의하므로 자연스럽게 계획(lookahead) 능력을 가진다. 논문은 확률의 연쇄법칙에서 출발해 두 모델 사이의 명시적 전단사(bijection)를 제시하고, 이것이 최대 엔트로피 강화학습의 소프트 벨만 방정식의 특수한 경우임을 보인다.
방법론
ARM과 EBM의 정의
EBM은 친화도(affinity) 함수 R을 사용해 전체 수열에 대한 확률을 정의한다. 전체 수열 공간에 대한 지수합, 즉 분할함수를 계산해야 하므로 어휘 크기 V와 수열 길이 T에 대해 지수적 복잡도를 가진다.
1
2
3
4
5
# EBM 분포: 전체 수열에 대한 소프트맥스
p_ebm(y|x) = exp(R(x, y)) / Σ_y' exp(R(x, y'))
# 로그 분할함수: 계산 복잡도 O(V^T)
A_ebm(x) = log Σ_y exp(R(x, y))
반면 ARM은 로컬 점수 함수 q를 사용해 토큰 단위 조건부 확률의 곱으로 전체 수열 확률을 표현한다. 각 스텝의 상태(context)는 입력과 지금까지 생성한 토큰을 이어붙인 것이다.
1
2
3
4
5
# ARM 분포: 토큰 단위 조건부 확률의 곱
p_arm(y|x) = Π_t π_q(y_t | s_t), s_t = x ⊕ y_<t
# 스텝별 소프트맥스
π_q(y_t | s_t) = exp(q(s_t, y_t)) / Σ_j exp(q(s_t, j))
두 모델을 잇는 전단사 매핑
논문의 출발점은 확률의 연쇄법칙 그 자체다. 전체 수열 분포로부터 토큰 조건부 분포를 유도할 수 있고, 역으로 조건부 분포의 곱으로 전체 수열 분포를 복원할 수 있다. 이것이 두 표현 사이의 정확한 일대일 대응을 만든다.
핵심은 매핑 M이다. EBM의 보상 r을 ARM의 점수 q로 옮길 때, EOS(종료) 토큰이면 보상을 그대로 두고, 그렇지 않으면 미래 가치 함수 V_q를 더한다.
1
2
3
4
5
6
7
# EBM → ARM 매핑 M
q(s_t, y_t) = r(s_t, y_t) (y_t = EOS)
q(s_t, y_t) = r(s_t, y_t) + V_q(s_t ⊕ y_t) (y_t ≠ EOS)
# ARM → EBM 역매핑
r(s_t, y_t) = q(s_t, y_t) (y_t = EOS)
r(s_t, y_t) = q(s_t, y_t) - V_q(s_t ⊕ y_t) (y_t ≠ EOS)
명제 3.2는 이 매핑 하에서 EBM 분포와 ARM 분포가 정확히 같아지고, EBM의 로그 분할함수가 ARM의 가치 함수와 일치함을 보인다. 계산 복잡도 관점에서 흥미로운 비대칭이 있다.
| 방향 | 복잡도 | 성격 |
|---|---|---|
| EBM에서 ARM | O(V^T) | 재귀 의존성으로 지수적 |
| ARM에서 EBM | O(VT) | 병렬 계산 가능해 선형 |
최대 엔트로피 강화학습 관점
ARM은 마르코프 결정 과정(MDP)으로 해석된다. 상태는 지금까지의 문맥, 행동은 다음 토큰, 즉시 보상은 r이다. 이때 점수 함수 q는 소프트 벨만 방정식을 만족한다.
1
q(s, a) = r(s, a) + E[ V_q(S') ] (S' ~ 다음 상태 분포)
비순환(acyclic) MDP에서는 명시적 고정점 해가 존재하며, 그것이 바로 q* = M(r)이다. 즉 후처리 정렬(post-training)에서 흔히 쓰는 KL 정규화 강화학습의 최적해가 정확히 EBM이고, ARM으로 EBM을 증류하는 문제로 환원된다.
주요 결과
ARM과 EBM의 동등성
명제 4.1은 함수 공간에서 ARM 손실의 최소값과 EBM 손실의 최소값이 정확히 같음을 보인다. 즉 표현력 관점에서 ARM과 EBM은 동등하게 강력하다.
논문은 어휘 크기 V와 최대 길이 T를 제한한 아주 작은 언어모델로 이를 수치 검증했다. EBM은 비인과적(양방향) Transformer로, ARM은 인과적 Transformer로 구현했다. 그림 1의 왼쪽 결과에서 최적성 격차를 훈련 스텝에 따라 그렸을 때, EBM과 ARM이 동일한 최소값으로 수렴하며 손실 곡선이 훈련 전 구간에서 매우 유사하게 나타났다. 오른쪽 결과에서는 훈련된 ARM과 최적 EBM의 로짓 사이 거리를 측정해, 매핑 M을 명시적으로 적용하면 로짓을 정확히 변환할 수 있음을 확인했다.
이는 교사 강제(teacher forcing)에 대한 재해석을 제공한다. 함수 공간에서의 최적해는 실제로 미래를 내재적으로 계획하는 EBM이며, 근시성 문제는 목적함수 자체가 아니라 최소값에 도달하는 학습의 어려움에서 비롯된다는 것이다.
증류 오차의 상한
명제 4.2는 EBM을 ARM으로 증류할 때의 KL 발산에 대한 상한을 제시한다. 상한은 점수 함수의 근사 오차에 수열 길이 T의 상수배로 비례한다.
1
KL( p_ebm(·|x) , p_arm(·|x) ) ≤ 2T · max |q*(s, y) - q(s, y)|
Furuya et al.(2025)의 Transformer 근사 결과를 결합하면, 임의의 오차 ε에 대해 인과적 Transformer가 q*를 ε 이내로 근사할 수 있고, 따라서 KL 발산은 2Tε로 억제된다. 수열 길이에 대한 선형 상한은 증류의 실용적 지침을 제공한다.
한계와 주의사항
논문 스스로 밝히는 한계는 명확하다.
첫째, 명제 4.1의 동등성은 함수 공간에서만 성립한다. 실제로는 R이 비인과적 Transformer, q가 인과적 Transformer라는 구조적 차이가 있고, 이 차이가 학습 난이도에 미치는 영향은 분석되지 않았다.
둘째, ARM의 점수 함수 q는 이중 부담을 진다. 즉시적인 로컬 점수 r을 모델링하는 동시에, 미래의 모든 가능한 연속에 대해 주변화하는 복잡한 가치 함수 V_q를 암묵적으로 계산해야 한다.
셋째, 명제 4.1은 최적화 오차나 근사 오차를 고려하지 않으며, R을 학습하는 것과 q를 학습하는 것의 복잡도를 정식으로 비교하지 않는다. 넷째, 생각 추적(thinking traces) 같은 잠재 변수가 ARM의 표현력을 어떻게 높이는지는 다루지 않는다.
결론
이 논문은 다음 토큰 예측이 본질적으로 계획 능력을 내재하고 있음을 이론적으로 증명한다. ARM과 EBM 사이의 정확한 전단사, 함수 공간에서의 동등성, 그리고 수열 길이에 선형인 증류 오차 상한을 통해 강화학습 커뮤니티와 언어모델 커뮤니티를 잇는다. “근시적”이라는 비판은 목적함수의 본질적 한계가 아니라, 더 나은 아키텍처나 생각 추적을 통해 가치 함수 V_q의 학습을 개선하면 극복될 수 있는 문제로 재해석된다.