Prioritize the Process, Not Just the Outcome: 잠재 사고 궤적 보상으로 Looped LM의 추론을 개선하는 RLTT
목차
개요
Looped Language Model(LoopLM)은 토큰을 출력하기 전에 공유 가중치 트랜스포머 블록을 여러 번 재귀적으로 적용하여 다단계 잠재 추론을 수행하는 구조다. 동일한 파라미터 예산에서 일반 LLM보다 추론 벤치마크 성능이 높다는 점이 보고되어 왔다. 그러나 LoopLM에 검증 가능한 보상 기반 강화학습(RLVR) 사후 학습을 적용하려는 시도는 성과를 내지 못했다.
프린스턴대학교 Jonathan Williams와 Esin Tureci가 발표한 Prioritize the Process, Not Just the Outcome은 그 실패 원인을 크레딧 할당의 불일치로 진단한다. GRPO 같은 표준 정책 경사 목적 함수는 토큰 방출 직전의 마지막 잠재 상태에만 보상을 귀속시킨다. 이는 각 토큰이 단일 결정 단계에서 생성된다고 암묵적으로 가정하는 것이며, 여러 번의 내부 정제 단계를 거치는 LoopLM의 실제 연산 방식과 근본적으로 어긋난다.
논문은 이를 해결하기 위해 RLTT(Reward Latent Thought Trajectories)를 제안한다. RLTT는 보상을 잠재 추론 궤적 전체에 분배하여 조밀한 궤적 수준 크레딧 할당을 제공한다. 외부 검증자(external verifier)에 의존하지 않으며, 무시할 만한 오버헤드로 GRPO를 직접 대체할 수 있다. Ouro-1.4B/2.6B-Thinking을 대상으로 학습과 추론 조건을 엄격히 일치시킨 실험에서, RLTT는 MATH-500, AIME24/26, BeyondAIME 평균 정확도를 1.4B 규모에서 +5.8%, 2.6B 규모에서 +10.9% 향상시켰다. 수학 데이터로만 학습했음에도 비수학 추론 벤치마크로도 효과가 전이되었다. 이 논문은 ICML 2026(PMLR 306)에 발표되었다.
배경과 관련 연구
잠재 추론과 Looped LM
잠재 추론(latent reasoning)은 각 토큰을 방출하기 전에 다단계 내부 연산을 수행하는 접근이다. 출력 토큰당 단일 순전파를 수행하는 기존 아키텍처와 달리, 잠재 추론 아키텍처는 토큰 생성 전에 내부 표현을 반복적으로 정제한다. 출력 길이를 늘리지 않고도 테스트 타임 연산을 추가할 수 있어 chain-of-thought의 대안으로 주목받는다.
LoopLM은 이 잠재 추론의 구체적인 아키텍처 구현이다. Ouro LoopLM은 잠재 연산을 이 방식으로 스케일링하면 명시적 추론 방식에서 흔히 관찰되는 chain-of-thought의 장황함 없이 강한 추론 성능을 얻을 수 있음을 보였다. Huginn 같은 recurrent-depth 트랜스포머 역시 공유 코어 블록을 반복 적용하여 유사한 이득을 얻는다.
연속 잠재 공간에서 추론하는 계열의 연구도 있다. Coconut은 이산적인 chain-of-thought 토큰을 미분 가능한 연속 사고로 대체하고, CODI는 명시적 CoT 트레이스를 압축된 연속 형태로 증류한다. Compressed CoT(CCoT)는 긴 추론 사슬을 인코딩하는 짧은 잠재 토큰 시퀀스를 생성한다.
기존 RL 적용의 실패
Ouro 저자들은 RL이 SFT 대비 유의미한 성능 향상을 유도하지 못했다고 보고했다. LSRL은 recurrent-depth 모델 Huginn을 대상으로 각 중간 잠재 상태를 텍스트로 디코딩한 뒤 GPT-4.1 nano로 채점하는 깊이별 프로세스 보상을 도입해 GSM8K에서 +4.27%, MathQA에서 +2.06% 개선을 얻었다. 그러나 중간 잠재 상태를 텍스트로 디코딩하고 외부 채점 모델을 API 호출하는 방식은 상당한 연산 및 구현 오버헤드를 유발한다.
RLTT가 LoopLM을 대상으로 설계된 이유는 아키텍처 특성 때문이다. LoopLM은 매 루프마다 다음 토큰 분포를 산출하므로, 중간 상태를 디코딩하지 않고도 궤적 수준 크레딧 할당이 가능하다. 논문 작성 시점 기준으로 유일한 오픈소스 LoopLM인 Ouro가 실험 대상이 되었다.
방법론
정의와 표기
컨텍스트를 x, 길이 L의 생성 응답 시퀀스를 y = [y_1, …, y_L]이라 하자. LoopLM이 다음 토큰을 출력하기 전 T_max회 루프를 돈다고 할 때, h_j^(t)는 j번째 토큰의 루프 t 이후 은닉 상태이고 g는 은닉 상태를 어휘 차원으로 사영하는 언어 모델링 헤드다.
LoopLM이 유도하는 자기회귀 정책은 다음과 같다.
1
2
3
pi_theta(y | x) = Prod_{j=1..L} P_theta^(T_max)(y_j | x, y_<j)
P_theta^(T_max)(y_j | x, y_<j) = Softmax( g(h_j^(T_max)) ) ... (1)
즉 샘플링은 최종 루프의 “final thought distribution”만 사용한다. 반면 중간 루프의 “latent thought distribution”은 일반적으로 관측되지 않는 연산으로 취급된다.
1
P_theta^(t)(y_j | x, y_<j) = Softmax( g(h_j^(t)) ), t = 1, ..., T_max - 1 ... (2)
RLTT 정책 그래디언트
r을 정답 a에 대한 결과 기반 보상 함수라 하자(y가 a와 일치하면 1, 아니면 0). 프롬프트 x에 대해 g개의 롤아웃을 샘플링하고 각각의 보상을 계산한다. 표준 REINFORCE 계열 정책 경사는 다음 형태를 가진다.
1
2
3
4
J_standard(theta) = E[ (1/g) Sum_i (1/|y_i|) Sum_j
log P_theta^(T_max)(y_i,j | x, y_i,<j) * A_hat_i ] ... (3)
A_hat_i = ( r_i - mean({r_1..r_g}) ) / std({r_1..r_g})
이 목적 함수는 오직 최종 루프 분포의 직접 함수이므로, LoopLM이 실제로는 h_j^(1) → … → h_j^(T_max)라는 완전한 잠재 사고 궤적을 계산함에도 각 토큰을 단일 결정 단계로 취급한다.
RLTT는 단일 로그 확률을 루프에 대한 가중합으로 대체하여 크레딧을 궤적 전체에 분배한다.
1
2
3
4
5
J_RLTT-PG(theta) = E[ (1/g) Sum_i (1/|y_i|) Sum_j
Sum_{t=1..T_max} alpha_t * log P_theta^(t)(y_i,j | x, y_i,<j)
* A_hat_i ] ... (4)
alpha_t >= 0, Sum_{t=1..T_max} alpha_t = 1
크레딧 할당 관점에서 RLTT의 효과는 두 가지다. 첫째, 그래디언트가 모든 루프의 잠재 사고 분포에 대한 직접 함수가 되어, 보상 신호가 최종 루프 분포만을 통해 역전파될 필요가 없어진다. 둘째, 잠재 사고 분포 궤적 전체가 보상받은 결과와 정렬되도록 강제하여 높은 어드밴티지를 갖는 사고 패턴으로의 빠른 수렴을 유도한다.
KL 정규화와 최종 목적 함수
일반 언어 능력을 보존하기 위해 KL 발산 정규화 항이 추가된다.
1
2
3
4
J_RLTT(theta) = J_RLTT-PG(theta) + beta * D_KL( pi_theta || pi_ref ) ... (5)
D_KL = E[ (1/g) Sum_i (1/|y_i|) Sum_j
D_KL( P_theta^(T_max)(. | x, y_i,<j) || P_ref^(T_max)(. | x, y_i,<j) ) ] ... (7)
참조 모델 pi_ref는 RLVR 사후 학습 이전의 pi_theta를 동결한 복사본이다. KL 항은 최종 루프 분포에 대해서만 계산된다.
루프 가중치 전략
RLTT는 루프 가중치 alpha_t의 선택만을 요구하며, 모든 경우에 총 루프 수가 주어지면 가중치는 결정론적으로 정해진다. 논문은 세 가지 전략을 비교한다.
세 가지 가중치 방식
| 전략 | 정의 | 근거 |
|---|---|---|
| Exit PDF | alpha_t = p_exit(t 주어진 x) | Ouro의 학습된 exit head가 산출한 t번째 루프에서의 종료 확률을 크레딧으로 사용 |
| Progressive | alpha_t = t^gamma / Sum_s s^gamma, gamma 0 이상 | 후반 루프가 참 분포에 더 가깝다는 직관을 반영해 더 큰 가중치 부여 |
| Uniform | alpha_t = 1 / T_max | 모든 루프를 동등한 드래프트 모델로 취급, 가능한 한 이른 루프에서 올바른 분포 형성을 유도 |
본 실험의 기본 설정은 exit-probability 가중치다. Ouro의 학습된 halting 신호를 내부 신뢰도의 프록시로 활용하며, exit 확률이 낮은 루프는 덜 신뢰할 수 있는 것으로 간주해 비례적으로 적은 크레딧을 받는다.
알고리즘과 연산 비용
RLTT 알고리즘의 절차는 다음과 같다. 프롬프트별로 g개 롤아웃을 식 (1)로 샘플링하고, 각 롤아웃의 보상을 계산한 뒤 그룹 정규화로 어드밴티지를 구한다. 이어 각 토큰 위치 j와 각 루프 t에 대해 루프별 로그 확률을 기록하고, 최종 루프 분포와 참조 정책 간 KL 발산을 기록한다. 마지막으로 식 (5)의 RLTT 목적 함수를 계산해 옵티마이저 스텝을 수행한다.
연산 비용 측면에서 RLTT는 GRPO 대비 추가 연산이 거의 없다. 루프별 로짓은 LoopLM 순전파 과정에서 이미 생성되며, RLTT가 추가로 수행하는 산술은 루프에 대한 가중합뿐으로 T_max에 선형이다. 실질적 부담은 메모리다. 궤적 가중 목적 함수를 구성하기 위해 루프별 로그 확률을 보존해야 하므로 메모리 사용량이 루프 수에 선형으로 증가한다. 고정된 GPU 메모리에서 이는 최적화 스텝당 GPU에 패킹 가능한 최대 토큰 수를 줄인다. 실제 실험에서 ppo_max_token_len_per_gpu를 8192(GRPO 값의 절반)로 설정하고 추가 미니 스텝으로 보상해야 했다.
실험 설정
학습 환경과 하이퍼파라미터
VERL 프레임워크를 사용해 H200 140GB GPU 4장에서 분산 학습을 수행했다. 모든 Ouro 모델은 전체 파라미터 업데이트로 학습되었고 동일한 Ouro-2.6B-Thinking 체크포인트에서 초기화되었다. 롤아웃 가속에는 vLLM을 사용했다. GRPO와 RLTT는 동일한 MATH 학습 샘플, 동일한 롤아웃 예산, 동일한 최적화 설정, 동일한 보상 함수, 동일한 어드밴티지 정규화로 엄격하게 연산 조건을 일치시켜 비교되었다.
Ouro 실험 하이퍼파라미터
| 항목 | 값 |
|---|---|
| Loop Iterations | 4 |
| Steps | 140 |
| Prompt Batch Size | 32 |
| Rollouts per Prompt | 8 |
| Max Generation Length | 2048 |
| Learning Rate | 1e-6 |
| LR Scheduler | Constant with Warmup |
| Optimizer | AdamW 8bit |
| Optimizer Momentum | beta1, beta2 = 0.9, 0.99 |
| KL Coefficient | 1e-3 |
| Weight Decay | 0.1 |
| Max Gradient Norm | 0.1 |
| Gradient Accumulation Step | 2 |
| Warmup Ratio | 0.1 |
| Precision | BF16 |
| Reward Formulation | Binary 0-1 |
| Advantage Estimation | Group Normalized |
비루프 RL 베이스라인으로 Qwen3 1.7B와 4B를 GRPO로 학습했다. 동일한 MATH 학습 데이터를 사용했고 학습률만 1e-4로 두었으며 나머지 설정은 GRPO/RLTT 프로토콜과 일치시켰다. Qwen3는 루프 단위 잠재 사고 궤적을 노출하지 않으므로 RLTT를 적용할 수 없다.
평가 프로토콜과 토큰 예산
수학 벤치마크는 MATH-500, AIME24, AIME26, BeyondAIME, GSM8K로 구성된다. 비수학 벤치마크는 ARC-C, MMLU-ST, GPQA, MBPP다. 모든 평가는 제로샷이며 결정론적 디코딩과 정확 일치 답안 파싱을 사용한다. 답안 파싱에는 MathVerify를 사용했고, MBPP는 5초 타임아웃의 Pass@1로 평가했다.
GRPO 학습 정책이 RLTT보다 긴 수학 풀이를 생성하므로 GRPO에는 수학 평가 전반에 3072 토큰의 확장된 디코드 예산을 부여했다. RLTT는 MATH-500에 2048 토큰, GSM8K에 512 토큰, 나머지에 3072 토큰을 사용했다. 비수학 벤치마크는 GRPO/RLTT 학습 시 최적화된 추론 영역과 동일한 조건을 맞추기 위해 네 벤치마크 모두 2048 토큰 디코드 예산으로 평가했다.
수학 평가에 사용된 프롬프트는 다음과 같다.
1
2
3
4
5
6
7
8
9
<|im_start|>system
You are a helpful assistant.<|im_end|>
<|im_start|>user
Solve the following math problem. Show your reasoning step by step.
Put your final answer in \boxed{}. Once you provide the final answer, stop immediately.
Problem: <problem text here><|im_end|>
<|im_start|>assistant
주요 결과
학습 다이나믹스
보상 추이에서 RLTT는 학습 전 구간에 걸쳐 GRPO보다 일관되게 높은 보상을 달성했다. 격차는 첫 40스텝 이내에 나타나 이후 꾸준히 벌어졌다. 논문은 이를 궤적 수준 크레딧 할당의 직접적 결과로 해석한다. GRPO는 토큰 방출 직전 최종 잠재 상태에만 보상을 귀속시켜 학습 신호가 여러 잠재 정제 단계를 거슬러 역전파되어야 한다. RLTT는 크레딧을 추론 궤적 전체에 분배하여 중간 단계가 유의미한 그래디언트를 받도록 하고, 이는 실효 크레딧 할당 지평을 단축시켜 정책 개선을 가속한다.
응답 길이 추이에서 RLTT는 학습이 진행될수록 GRPO보다 실질적으로 짧은 응답으로 수렴했다. 이 효과는 간결성에 대한 명시적 유인으로 설명될 수 없다. 보상 함수는 오직 최종 답의 정확성에만 의존하며 조기 종료나 간결한 형식만으로는 어떤 이점도 얻을 수 없기 때문이다. RLTT 하에서 중간 잠재 상태가 최종 결과와 직접 정렬되면서 올바른 추론 패턴으로의 내부 수렴이 빨라진 결과로 해석된다.
MATH 학습 시간 비교
| Method | Min / Step | Total Time (hrs) | Rel. Cost |
|---|---|---|---|
| GRPO | 23.3 ± 8.31 | 54.42 | 1.00배 |
| RLTT | 21.1 ± 9.87 | 49.05 | 0.90배 |
두 방법 모두 동일 하드웨어에서 총 140 최적화 스텝을 학습했고, RLTT는 10.0%의 학습 시간 단축을 달성했다. 다만 논문은 이 효율 이득을 최적화 목표가 아닌 개선된 잠재 추론의 부수 효과로 해석해야 한다고 명시한다.
출력 토큰 엔트로피 추이에서 RLTT는 GRPO보다 가파르고 지속적인 엔트로피 감소를 보인다. 논문은 보상 증가 및 응답 길이 감소와 함께 엔트로피가 매끄럽게 감소한다는 점에서 이를 붕괴가 아닌 통제된 확신으로 해석한다. 엔트로피 붕괴 가능성은 별도의 Pass@k 분석으로 배제된다. 온도 0.6 샘플링에서 RLTT는 모든 벤치마크에서 GRPO보다 가파른 Pass@k 스케일링을 보였고, 특히 AIME24와 BeyondAIME에서 k가 커질수록 상당한 이득을 계속 축적했다.
수학 벤치마크
수학 및 비수학 벤치마크 성능 비교
| Model | MATH-500 | AIME24 | AIME26 | BeyondAIME | GSM8K | Math Avg. | ARC-C | MMLU-ST | GPQA | MBPP | Non-Math Avg. |
|---|---|---|---|---|---|---|---|---|---|---|---|
| DeepSeekR1-1.5B | 60.6 | 3.33 | 3.33 | 2.0 | 77.0 | 29.3 | 55.5 | 54.5 | 6.57 | 30.4 | 36.7 |
| DeepSeekR1-7B | 70.4 | 16.7 | 6.67 | 3.0 | 89.0 | 37.2 | 82.5 | 74.4 | 11.1 | 49.7 | 54.4 |
| Qwen3-1.7B | 54.2 | 0.0 | 0.0 | 0.0 | 80.1 | 26.9 | 84.0 | 71.4 | 4.55 | 43.7 | 50.9 |
| Qwen3-1.7B + GRPO | 54.6 | 0.0 | 0.0 | 0.0 | 81.3 | 27.2 | 83.4 | 71.2 | 5.1 | 44.7 | 51.1 |
| Qwen3-4B | 63.0 | 3.33 | 3.33 | 0.0 | 88.0 | 31.5 | 90.5 | 77.1 | 11.1 | 56.5 | 58.8 |
| Qwen3-4B + GRPO | 62.2 | 3.33 | 3.33 | 0.0 | 89.8 | 31.7 | 91.5 | 77.6 | 9.1 | 56.5 | 58.7 |
| Ouro-1.4B-Thinking | 73.2 | 16.7 | 13.3 | 4.0 | 90.7 | 39.6 | 90.7 | 78.4 | 12.1 | 53.6 | 58.7 |
| Ouro-1.4B + GRPO | 77.4 | 16.7 | 16.7 | 6.0 | 91.7 | 41.7 | 90.7 | 81.1 | 14.7 | 51.6 | 59.5 |
| Ouro-1.4B + RLTT | 81.2 | 26.7 | 20.0 | 12.0 | 90.3 | 46.0 | 91.9 | 83.8 | 26.8 | 56.7 | 64.8 |
| Ouro-2.6B-Thinking | 75.6 | 13.3 | 6.67 | 5.0 | 93.6 | 38.8 | 93.6 | 84.4 | 18.7 | 61.3 | 64.5 |
| Ouro-2.6B + GRPO | 79.0 | 16.7 | 16.7 | 6.0 | 93.9 | 42.5 | 93.7 | 86.1 | 19.7 | 61.3 | 65.2 |
| Ouro-2.6B + RLTT | 86.0 | 33.3 | 26.7 | 16.0 | 94.0 | 51.2 | 94.4 | 89.6 | 38.4 | 64.6 | 71.8 |
2.6B 규모에서 RLTT는 GRPO 대비 MATH-500 +7.0%, AIME24 +16.6%, AIME26 +10.0%, BeyondAIME +10.0%의 이득을 얻었다. 1.4B 규모에서는 MATH-500 +3.8%, AIME24 +10.0%, AIME26 +3.7%, BeyondAIME +6.0%다. Ouro-1.4B+RLTT는 수학 평균 46.0%로 Qwen3-1.7B+GRPO(27.2%)와 Qwen3-4B+GRPO(31.7%)를 모두 상회했고, Ouro-2.6B+RLTT는 51.2%까지 올라갔다.
AIME24, AIME26, BeyondAIME에서의 이득이 특히 시사적이다. 이들은 엄격한 추론 제약 하에서 지속적인 다단계 추론을 요구하는 가장 어려운 영역이며, GRPO는 토큰 예산을 소진하기 전에 유효한 해에 도달하지 못하는 경우가 잦다. 따라서 RLTT의 개선은 불필요한 토큰 수준 탐색 없이 정답에 도달하게 만드는 데서 주로 발생한다.
비수학 벤치마크
모든 모델은 MATH 학습 스플릿으로만 학습되었고 비수학 과제는 학습 중 한 번도 관측되지 않았다. 그럼에도 2.6B 규모에서 RLTT는 GRPO 대비 ARC-C +0.7%, MMLU-ST +3.5%, GPQA +18.7%, MBPP +3.3%의 이득을 얻었다. 1.4B 규모에서는 ARC-C +1.2%, MMLU-ST +2.7%, GPQA +12.1%, MBPP +5.1%다. Ouro-1.4B+RLTT의 비수학 평균은 64.8%, Ouro-2.6B+RLTT는 71.8%다.
가장 두드러진 이득은 GPQA에서 나타나며 RLTT는 GRPO 대비 성능을 거의 두 배로 끌어올렸다. GPQA는 다중 홉 사실 추론을 요구하므로 추론 궤적이 얼마나 효율적으로 안정화되는지에 특히 민감하다. GRPO는 디코드 예산 대부분을 비생산적 탐색에 소모하며 실패하는 반면, RLTT는 주어진 토큰 지평 안에서 일관된 해결 경로로 더 안정적으로 수렴한다. 이는 수학 영역에서 AIME24/26 및 BeyondAIME에 나타난 실패 양상과 동일한 패턴이다.
기저 Ouro 성능이 이미 높은 ARC-C, MMLU-ST, MBPP에서는 이득 폭이 작지만 일관되게 양의 방향이다. 논문은 비수학 지도가 전혀 없었음에도 개선이 나타났다는 점에서, RLTT가 모델이 무엇을 푸는지를 바꾸는 것이 아니라 어떻게 추론하는지를 바꾼다고 해석한다.
디코딩 예산 견고성
MATH-500 디코드 예산별 정확도
| Method | 1024 tokens | 2048 tokens | 3072 tokens | 4096 tokens |
|---|---|---|---|---|
| Ouro-2.6B-Thinking | 38.4 | 67.8 | 75.6 | 79.6 |
| + SFT | 34.6 | 58.2 | 71.8 | 77.6 |
| + GRPO | 42.4 | 71.6 | 79.0 | 80.8 |
| + RLTT | 78.4 | 86.0 | 87.4 | 89.8 |
1024 토큰의 강한 제약 하에서도 RLTT는 78.4%를 유지한 반면 GRPO와 SFT는 급격히 저하되어 절단에 대한 강한 민감성을 드러냈다. 학습 시 사용한 2048 토큰 지평을 크게 넘어서는 4096 토큰 예산에서도 RLTT는 GRPO보다 높은 정확도를 유지했다. 이는 RLTT의 이득이 특정 디코드 길이나 학습 예산에 대한 과적합이 아님을 보여준다. 평가를 MATH-500으로 한정한 이유는 여러 디코드 예산이 동시에 유효한 유일한 수학 벤치마크이기 때문이다. AIME24와 BeyondAIME는 짧은 예산에서 절단으로 인해 모든 방법이 거의 0에 수렴하고, GSM8K는 1024 토큰 훨씬 이전에 포화한다.
통계적 유의성과 가중치 민감도
결정론적 디코딩은 분산 기반 유의성 검정을 허용하지 않으므로, 온도 0.2 고정에 10개의 서로 다른 랜덤 시드를 사용한 샘플링 기반 평가를 추가로 수행했다. 동일 문항 집합의 짝지어진 표본으로 대응 표본 t-검정을 수행했다.
샘플링 기반 평가와 대응 표본 t-검정 결과
| Model | Method | MATH-500 | AIME24 | AIME26 | BeyondAIME | GSM8K | ARC-C | MMLU-ST | GPQA | MBPP |
|---|---|---|---|---|---|---|---|---|---|---|
| Ouro-1.4B-Thinking | GRPO | 76.9±0.8 | 16.0±2.6 | 14.3±3.9 | 7.00±1.8 | 92.4±0.3 | 91.0±0.4 | 80.9±0.4 | 13.4±1.3 | 60.9±0.8 |
| Ouro-1.4B-Thinking | RLTT | 81.5±0.7 | 20.7±5.4 | 17.3±4.7 | 11.3±1.8 | 90.8±0.4 | 91.8±0.5 | 84.4±0.2 | 26.9±1.6 | 64.8±0.8 |
| Ouro-2.6B-Thinking | GRPO | 79.1±0.7 | 17.7±2.3 | 14.7±3.6 | 9.30±1.9 | 94.5±0.3 | 93.5±0.4 | 86.0±0.3 | 19.7±2.0 | 68.0±1.3 |
| Ouro-2.6B-Thinking | RLTT | 85.9±1.0 | 32.3±4.2 | 27.0±4.0 | 16.4±2.4 | 94.4±0.4 | 94.3±0.3 | 89.9±0.3 | 38.2±1.9 | 73.6±0.6 |
RLTT는 유의수준 p 0.05 미만 기준으로 2.6B 규모에서 9개 중 8개 벤치마크, 1.4B 규모에서 9개 중 7개 벤치마크에 걸쳐 통계적으로 유의한 개선을 달성했다. 비수학 벤치마크에 한정하면 두 규모 모두 전 벤치마크에서 유의한 개선이 확인된다.
루프 가중치 전략별 성능(Ouro-2.6B)
| Weighting Strategy | MATH-500 | AIME24 | BeyondAIME | GSM8K | ARC-C | MMLU-ST | GPQA | MBPP |
|---|---|---|---|---|---|---|---|---|
| Uniform | 85.0 | 36.7 | 17.0 | 94.8 | 94.2 | 90.4 | 45.5 | 59.1 |
| Progressive (gamma = 1) | 86.8 | 30.0 | 16.0 | 94.8 | 94.2 | 90.4 | 41.9 | 64.6 |
| Exit-probability | 86.0 | 33.3 | 16.0 | 94.0 | 94.4 | 89.6 | 38.4 | 64.6 |
가중치 전략 간 성능 차이는 일관되게 작다. 가중치 방식 변경으로 유발되는 변동은 RLTT와 GRPO의 성능 격차에 비해 작은 수준이다. 논문은 이를 근거로 RLTT의 이득이 정교하게 튜닝된 크레딧 배분 스케줄이 아니라, 강화학습 신호를 잠재 추론 궤적 전체에 노출한다는 더 근본적인 변경에서 비롯된다고 결론짓는다. 크레딧이 최종 루프로 병목되지 않게 되면 루프 간 크레딧의 정확한 분포는 이차적 고려사항이 된다.
루프 단위 성능과 표현 분석
루프 수를 1에서 4까지 변화시킨 평가
| Dataset | Method | 1 Loop | 2 Loops | 3 Loops | 4 Loops |
|---|---|---|---|---|---|
| MATH-500 | SFT | 27.4 | 61.8 | 63.4 | 58.2 |
| MATH-500 | GRPO | 32.4 | 66.2 | 70.4 | 71.6 |
| MATH-500 | RLTT | 37.4 | 81.2 | 84.8 | 86.0 |
| AIME24 | SFT | 0.00 | 6.67 | 13.3 | 13.3 |
| AIME24 | GRPO | 0.00 | 10.0 | 16.7 | 16.7 |
| AIME24 | RLTT | 0.00 | 23.3 | 26.7 | 33.3 |
| BeyondAIME | SFT | 0.00 | 4.00 | 4.00 | 6.00 |
| BeyondAIME | GRPO | 0.00 | 2.00 | 6.00 | 6.00 |
| BeyondAIME | RLTT | 0.00 | 11.0 | 15.0 | 16.0 |
| GSM8K | SFT | 32.4 | 60.7 | 62.2 | 59.6 |
| GSM8K | GRPO | 33.2 | 58.4 | 62.4 | 59.7 |
| GSM8K | RLTT | 59.4 | 89.9 | 93.1 | 94.0 |
RLTT는 0이 아닌 정확도가 나오는 모든 루프 수에서 GRPO를 일관되게 상회한다. MATH-500에서 1루프 정확도를 GRPO 대비 +5.0포인트 개선하고 2루프와 4루프에서 각각 +14.4포인트 격차를 유지한다. GSM8K에서는 제한된 루프 예산에서 특히 강해 1루프 +26.2포인트, 2루프 +31.5포인트, 3루프 +30.7포인트, 4루프 +34.3포인트의 개선을 보인다. AIME24에서는 2루프 +13.3, 3루프 +10.0, 4루프 +16.6포인트, BeyondAIME에서는 2~4루프에서 각각 +9.0, +9.0, +10.0포인트다. 이는 RLTT가 루프 용량 증가뿐 아니라 초기 추론 반복의 활용도 자체를 개선함을 시사한다.
궤적 수준 지도의 잠재적 실패 양상은 과도하게 이른 수렴이다. 중간 루프 상태를 직접 지도하면 초기 루프 표현이 최종 루프 표현으로 조기에 붕괴하여 이후의 유용한 정제가 사라질 수 있다. 논문은 AIME26 프롬프트 30개를 정확히 4회 루프로 평가하고 Centered Kernel Alignment(CKA)로 각 중간 루프 표현과 최종 루프 표현의 유사도를 측정했다.
최종 루프와의 CKA 수렴 분석
| Method | CKA(1, 4) | CKA(2, 4) | CKA(3, 4) | Monotonic |
|---|---|---|---|---|
| RLTT | 0.849 | 0.869 | 0.978 | Yes |
| GRPO | 0.836 | 0.788 | 0.974 | No |
RLTT에서는 최종 루프 표현과의 유사도가 루프 1에서 3까지 단조 증가한다. 중간 잠재 상태가 즉시 붕괴하는 것이 아니라 점진적으로 최종 표현을 향해 이동하며, 루프 2에서 3으로의 증가는 후반 루프가 여전히 유의미한 정제를 수행함을 보여준다. 반면 GRPO는 루프 1에서 2로 유사도가 감소했다가 3에서 회복하는 비단조 수렴을 보인다. 이는 최종 루프에만 지도를 주는 방식이 중간 루프 상태가 최종 표현 방향에서 이탈했다가 후반에 교정되는 것을 허용함을 시사한다.
RLTT가 동작하는 이유
토큰 효율적 추론과 이론적 근거
GRPO 같은 최종 루프 전용 목적 함수에서는 정확성이 최종 잠재 상태에서만 강제되므로, 학습된 정책이 확장된 토큰 수준 추론과 후반 교정에 의존하는 것이 허용된다. 반대로 보상을 잠재 추론 반복 전체에 분배하면 내부적으로 올바른 해에 일관되게 수렴하는 정책이 선호되고, 결과적으로 불필요한 토큰 수준 추론이 요구되지 않는다.
논문은 부록 A.10에서 이를 세 가지 가정 위에 형식화한다. 첫째, 루프 정제는 불확실성을 감소시킨다. 비음수 불확실성 범함수 V에 대해 토큰별 루프 불확실성 V^(t)(j)는 루프 깊이에 대해 비증가한다.
1
V_theta^(1)(j) >= V_theta^(2)(j) >= ... >= V_theta^(T_max)(j)
둘째, 추가 디코딩 토큰의 수익은 체감한다. 최대 길이 제약 L 하에서 달성 가능한 최선의 기대 종단 보상 S(L)은 비감소이며 L에 대해 이산 오목이다. 즉 한계 이득 Delta S(L) = S(L+1) - S(L)이 L에 대해 비증가한다.
셋째, 총 불확실성 비용은 근사적으로 응답 길이에 선형이다. GRPO의 토큰별 비용은 최종 루프 불확실성만 사용하고, RLTT의 토큰별 비용은 모든 잠재 루프의 불확실성을 가중 평균한다.
1
2
C_GRPO(j) := V_theta^(T_max)(j)
C_RLTT(j) := Sum_{t=1..T_max} alpha_t * V_theta^(t)(j)
보조정리 A.4(토큰별 우세)는 가정 1로부터 모든 토큰 위치 j에 대해 C_RLTT(j)가 C_GRPO(j) 이상임을 보인다. 증명은 각 t에 대해 V^(t)(j)가 V^(T_max)(j) 이상이라는 사실에 alpha_t를 곱해 합산하고, alpha_t의 합이 1임을 이용한다.
정리 A.5는 이를 최적 디코딩 길이와 연결한다. 추상적 보상-비용 트레이드오프를 다음과 같이 두자.
1
2
3
4
max_{L in Z_>=0} S(L) - lambda * c * L, lambda > 0
L*_GRPO in argmax_{L>=0} [ S(L) - lambda * c_GRPO * L ]
L*_RLTT in argmax_{L>=0} [ S(L) - lambda * c_RLTT * L ]
길이 L을 한 토큰 늘리는 것이 유리한 조건은 Delta S(L)이 lambda * c 이상인 경우다. Delta S(L)이 L에 대해 비증가하므로 최적 길이는 임계값 교차로 결정된다. c_RLTT가 c_GRPO 이상이므로 Delta S(L)이 더 큰 임계값 lambda * c_RLTT 아래로 처음 떨어지는 지점은 lambda * c_GRPO 아래로 떨어지는 지점보다 늦지 않다. 따라서 L_RLTT는 L_GRPO 이하가 된다.
이 결과는 제약된 추론 예산에서 RLTT가 보이는 경험적 견고성을 설명한다. 디코딩 길이가 제한될 때 후반 교정에 의존하는 정책은 정답 도달 전에 토큰 예산이 소진될 수 있어 취약하다.
그래디언트 신호 대 잡음비
추론 효율을 개선하는 동일한 크레딧 할당 메커니즘이 학습 다이나믹스도 향상시킨다. 논문은 최종 루프 잠재 사고 로짓에 대한 그래디언트 신호 대 잡음비(GSNR)를 측정했다. 프롬프트당 R = 8개의 독립 응답을 샘플링해 각 롤아웃의 손실을 로짓에 대해 미분하고, 평균 그래디언트의 제곱 노름을 롤아웃 간 분산으로 나눈 값을 프롬프트 단위 GSNR로 정의한다. 최종 지표는 프롬프트 단위 값들의 로그 변환 평균이며, 수치 안정성을 위해 epsilon = 1e-8을 더한다.
잠재 사고 수준 GSNR
| Dataset | GRPO | RLTT |
|---|---|---|
| MATH-500 | -14.7 | -15.3 |
| AIME24 | -15.1 | -11.8 |
| BeyondAIME | -16.8 | -13.8 |
| GSM8K | -12.0 | -17.0 |
RLTT는 가장 어려운 벤치마크인 AIME24와 BeyondAIME에서 통계적으로 유의한 GSNR 개선을 얻었다. 이들 과제는 정답이 드물고 보상이 희소하여, 최종 루프 전용 크레딧 할당에서는 학습 신호가 최종 잠재 상태에 집중되어 앞선 내부 연산을 형성할 그래디언트가 부족해진다. RLTT는 크레딧을 궤적 전체에 분배해 롤아웃당 그래디언트 정보의 밀도를 높인다.
MATH-500에서는 차이가 작고 통계적으로 유의하지 않다. 보상이 두 목적 함수 모두에 충분히 정보적이지만 크레딧 할당이 지배적 병목이 될 만큼 희소하지는 않은 중간 난이도 특성과 일치한다.
GSM8K는 다른 양상을 보인다. RLTT가 GSM8K에서 GRPO보다 훨씬 높은 정확도를 달성함에도 GSNR은 오히려 크게 낮아졌다. 논문은 이를 최적화 저하가 아니라 그래디언트 포화로 설명한다. 정책이 안정적으로 정답을 생성하게 되면 그래디언트가 작아져 신호 대 잡음비가 낮아지며, 이 영역에서 GSNR은 최적화 난이도의 프록시가 아니라 과제 숙달의 지표가 된다.
한계와 주의사항
루프별 로그 확률을 보존해야 하므로 메모리 사용량이 증가하고, 이는 GPU당 토큰 패킹을 제한한다. 실험에서 ppo_max_token_len_per_gpu를 GRPO의 절반인 8192로 낮추고 미니 스텝을 늘려 보상해야 했다.
방법 자체가 루프 아키텍처에 특화되어 있어 일반적인 비루프 아키텍처에는 적용되지 않는다. Qwen3처럼 루프 단위 잠재 사고 궤적을 노출하지 않는 모델에는 RLTT를 적용할 수 없다.
학습과 추론 모두에서 고정된 루프 깊이(4회)를 사용했다. 이는 Ouro가 본래 갖고 있던 적응적 조기 종료 능력, 즉 입력 난이도에 따라 토큰별로 잠재 반복 횟수를 조절하는 기능을 희생한다. 논문은 후속 연구로 메모리 효율적 구현과 적응적 halting 통합을 제시한다.
추론 연산 비용도 고려해야 한다. Ouro는 각 토큰을 방출하기 전 다수의 내부 정제 단계를 수행하므로 비슷한 파라미터 수의 일반 디코더 전용 트랜스포머보다 추론 비용이 높다.
AIME26 기준 추론 연산 트레이드오프
| Comparison | Ouro FLOPs Multiplier | Ouro+RLTT AIME26 | Qwen+GRPO AIME26 |
|---|---|---|---|
| Ouro-2.6B vs. Qwen3-1.7B | 6.75배 | 26.7% | 0.00% |
| Ouro-2.6B vs. Qwen3-4B | 2.63배 | 26.7% | 3.33% |
Qwen3-1.7B 대비 토큰당 6.75배, Qwen3-4B 대비 2.63배의 추론 FLOPs가 필요하다. Ouro가 Qwen3-4B보다 파라미터가 적음에도 각 토큰이 4회 잠재 루프 반복 후 생성되므로 재귀 트랜스포머 연산이 대략 루프 수만큼 스케일되기 때문이다. 따라서 이 비교는 순수 효율 비교가 아니라 연산과 정확도의 트레이드오프로 해석해야 한다.
평가 방법론상의 주의점도 있다. 본문 표의 주요 결과는 결정론적 디코딩 기반이며, GRPO에는 RLTT보다 넉넉한 토큰 예산이 부여되었다. GSM8K는 두 방법 모두 천장에 가까워 Pass@k가 빠르게 포화하므로 변별력이 낮다.
결론
RLTT는 looped language model에 내재한 다단계 잠재 연산과 강화학습을 정렬하는 프레임워크다. 보상을 최종 루프에 병목시키는 대신 잠재 추론 궤적 전체에 크레딧을 분배함으로써, 외부 검증자 없이 조밀한 궤적 수준 지도를 제공한다.
엄격히 조건을 일치시킨 평가에서 RLTT는 어려운 수학 벤치마크 전반에서 GRPO를 일관되게 상회했고, 비수학 추론 과제로의 제로샷 전이도 강했다. 분석 결과 RLTT는 올바른 추론 궤적의 조기 안정화를 유도하여 더 결단력 있는 생성, 제한적 루프/토큰 예산에서의 견고성, 가장 어려운 추론 영역에서의 풍부한 그래디언트 신호로 이어졌다.
동시에 메모리 사용량 증가, 루프 아키텍처 한정, 고정 루프 깊이로 인한 적응적 종료 능력 상실이라는 실질적 트레이드오프가 존재한다. 코드는 저자 GitHub 저장소에 공개되어 있다.