Hybrid Reasoning Agents: 잠재 공간에서 사고하고 텍스트로 행동하는 LLM 에이전트
목차
개요
Hybrid Reasoning Agents(HybridAgent)는 Stanford, Together AI, UIUC, Meta 연구진이 2026년 10월 공개한 논문으로, 하나의 생성 과정 안에서 잠재 공간 추론과 텍스트 기반 상호작용을 동적으로 오가는 LLM 에이전트를 제안한다. 논문이 던지는 질문은 “인간 언어를 넘어서 사고하면서도, 외부 환경에서는 여전히 언어로 행동하는 에이전트를 만들 수 있는가”이다. 핵심 구성 요소는 마지막 계층 은닉 상태를 입력 임베딩 공간으로 되돌리는 경량 어댑터 HybridLink, 텍스트·잠재 벡터·도구 응답을 KV 항목으로 여러 턴에 걸쳐 보존하는 연속 작업 메모리, 그리고 이를 학습시키는 HybridSFT와 HybridRL이다. Qwen3-Base 4B/8B/14B 세 규모로 11개 벤치마크(수학, 과학, 의학, 검색, 에이전틱 추론)를 평가한 결과, 동일 조건의 텍스트·잠재 기준선 대비 RL 단계에서 평균 10.4% 성능이 향상되었다. 동시에 토큰 사용량은 35.5~54.7% 감소했고, 추론 속도는 1.8~2.6배 빨라졌으며, 계산 비용은 2.7~3.7배 절감되었다. 코드는 togethercomputer/HybridAgent에 공개되어 있다.
배경과 문제 정의
텍스트 에이전트와 잠재 추론의 간극
최신 LLM 에이전트는 어려운 문제를 풀기 위해 도구를 호출하고, 환경 피드백을 관찰하고, 다음 행동을 조정한다. 이 모든 과정의 공통 매체는 텍스트이며, 중간 추론 궤적은 환경에 행동하기 전에 토큰 단위로 하나씩 텍스트로 생성된다.
한편 잠재 추론(latent reasoning) 연구는 연속 은닉 공간에서 직접 계산을 전개해 모든 중간 단계를 디코딩하고 언어화할 필요를 없앤다. 모델의 “자체 언어”로 더 효율적인 내부 추론이 가능하지만, 기존 잠재 추론 모델은 모델 경계 안에 갇혀 있다는 한계가 있다. 연속 잠재 벡터는 (i) 멀티턴 에이전틱 추론에서 도구를 호출할 고유 경로가 없고, (ii) 사람이 해석할 수 있는 의미를 드러내지 않아 학습 중 감독이 어렵고 추론 시 감사·디버깅도 어렵다.
결국 에이전틱 상호작용과 효율적 내부 추론은 지금까지 서로 다른 매체를 필요로 해 왔다. 논문은 이 둘을 결합해 “텍스트를 넘어서 사고하되 텍스트로 행동하는” 에이전트를 만들고자 한다. 이를 위해서는 밀집 연속 벡터와 희소 이산 토큰을 동시에 입력으로 다루고, 에이전틱 행동과 추론 효율의 균형을 위해 언제 모드를 전환할지 결정해야 한다.
하이브리드 생성의 정식화
표준 Transformer 기반 에이전트가 두 가지 모드로 자기회귀 생성을 한다고 가정한다. 텍스트 모드는 토큰 공간에서의 명시적 생성이고, 잠재 모드는 연속 표현 공간에서의 암묵적 생성이다. 입력 임베딩으로부터 마지막 계층 은닉 상태 h_t를 계산했을 때, 다음 스텝의 입력은 다음과 같다.
1
2
3
e_{t+1} = Emb(y_{t+1}), y_{t+1} ~ Softmax(W_out · h_t) (텍스트 모드)
e_{t+1} = h_t (잠재 모드, 기존 잠재 추론 방식)
h_{t+1} = f_θ([E_{≤t}; e_{t+1}])
도구 통합 에이전틱 추론에서 단일 턴의 하이브리드 궤적은 “모델 측 하이브리드 추론(텍스트 청크와 잠재 벡터의 교차)” 뒤에 “환경 측 상호작용(tool_call → 도구 실행 → tool_response)”이 이어지는 구조다. 전체 궤적은 다음 턴의 입력으로 이어 붙여지고, 최종 텍스트 답변이 나올 때까지 반복된다.
HybridAgent 아키텍처
HybridAgent는 LLM 에이전트의 자기회귀 생성과 도구 호출 인터페이스를 그대로 유지하면서 텍스트와 잠재 입력을 모두 수용한다. 백본 아키텍처를 건드리지 않기 때문에 어떤 사전학습 LLM이든 후학습 파이프라인만으로 HybridAgent로 변환할 수 있다.
HybridLink
기존 잠재 추론 모델(예: Coconut)은 마지막 계층 은닉 상태 h_t를 그대로 다음 입력으로 넣는다. 그러나 h_t로 토큰 임베딩을 대체하면 사전학습된 입력 공간과 표현 불일치가 생겨, 연속 상태와 이산 토큰 사이의 전환이 어려워진다.
HybridLink는 이 문제를 해결하는 경량 잔차 어댑터로, 은닉 표현 공간의 정보를 입력 임베딩 공간으로 옮긴다.
1
e_{t+1} = R_φ(h_t) = h_t + W_2 · σ(W_1 · h_t) (σ: GELU 등 활성화 함수)
잔차 연결이 h_t의 원래 의미를 대부분 보존하므로, HybridLink는 투영 전체를 새로 배우는 대신 분포 차이만 정렬하면 된다. 그 결과 파라미터 수는 약 2d² 수준으로, 4B 모델 기준 약 1,000만 개에 불과하다.
텍스트-잠재 모드 전환
텍스트 모드에서 HybridAgent는 일반 LLM과 똑같이 매 스텝 어휘에서 다음 토큰을 샘플링한다. 특수 토큰 <latent>를 생성하면 잠재 모드로 진입하며, 다음 forward pass부터는 LM head와 토큰 임베딩 층 대신 HybridLink를 사용한다.
잠재 모드에서는 매 스텝의 마지막 계층 은닉 상태가 HybridLink를 거쳐 곧바로 다음 입력이 되므로, 토큰 디코딩과 재임베딩 없이 잠재 공간에서 생성이 이어진다. 이 연속 표현 위의 시퀀스 방향 재귀 계산은 에이전트의 실효 추론 깊이를 늘려 더 표현력 있는 내부 추론을 가능하게 한다. 잠재 구간은 HybridLink 출력과 가장 가까운 토큰 임베딩이 종료 앵커 </latent>일 때 닫힌다.
1
argmax_{v ∈ V} cos( R_φ(h_t), Emb(v) ) = </latent> → 텍스트 모드로 복귀
에이전트는 매 스텝 현재 모드에 머물지 전환할지를 적응적으로 결정하므로, 텍스트·잠재 구간의 길이와 빈도는 사전 설정이 아니라 생성 중에 자연스럽게 결정된다.
해석 가능한 잠재 모드
HybridAgent의 잠재 모드는 디코딩을 하지 않으면서도 직접 해석할 수 있다는 특징이 있다. 위의 종료 조건과 같은 방식으로 각 잠재 스텝의 HybridLink 출력을 가장 가까운 토큰 임베딩에 대응시키면, 잠재 구간을 사람이 읽을 수 있는 의사 텍스트(pseudo-text)로 복원할 수 있다. 논문은 이 의사 텍스트가 주변 텍스트 추론 및 도구 호출과 의미적으로 정렬되어 있음을 정성·정량적으로 보여준다.
연속 작업 메모리 기반 멀티턴 생성
일반 LLM 에이전트는 각 턴의 생성 내용과 도구 출력을 텍스트 컨텍스트에 이어 붙이고, 다음 턴 입력 프리픽스로 다시 인코딩한다. 하지만 하이브리드 궤적은 텍스트 토큰과 잠재 벡터가 섞여 있어 기존 토큰화만으로는 재구성할 수 없다.
HybridAgent는 텍스트, 잠재 사고, 도구 관찰을 모두 입력 임베딩 층 또는 HybridLink를 통해 같은 입력 공간에 매핑한다. Transformer는 세 요소를 동일하게 처리하며 KV 항목을 쌓고, 이렇게 누적된 KV 항목이 에이전트의 연속 작업 메모리가 된다.
1
2
3
M(0) = [K_{≤|x|}, V_{≤|x|}] # 입력 컨텍스트로 초기화
M(1) = M(0) ⊕ [k_t, v_t], t = 1..|τ(1)| # 첫 턴 궤적의 KV를 순서대로 추가
... # 이후 턴은 현재 메모리에서 바로 생성 재개
이후 턴은 현재 작업 메모리에서 바로 생성을 재개하고 새 KV 항목을 계속 추가한다. 부록 A의 정리(Lossless Multi-Turn Working Memory)는 귀납법으로, 캐시된 메모리 기반 forward 결과가 전체 하이브리드 프리픽스를 처음부터 처리한 결과와 같음을 증명한다. 즉 잠재 사고를 텍스트로 변환하거나 이전 턴을 재구성하지 않고도 하이브리드 이력 전체의 영향이 다음 턴에 그대로 보존된다.
학습 방법
HybridAgent는 백본 구조를 유지하므로 처음부터 사전학습할 필요가 없고, 표준 에이전틱 후학습 파이프라인(SFT → RL)을 하이브리드 설정에 맞게 바꾼다. SFT는 백본이 HybridLink와 협응하며 안정적으로 하이브리드 생성과 도구 사용을 하도록 가르치고, RL은 언제 잠재 공간에서 사고하고 언제 텍스트로 행동할지를 학습시켜 추론 능력을 확장한다.
하이브리드 데이터 구축
기존 텍스트 기반 멀티턴 에이전틱 데모 데이터를 사람 라벨링 없이 자동 주석 파이프라인으로 54K개의 하이브리드 궤적으로 변환한다. 파이프라인은 네 단계로 구성된다.
| 단계 | 내용 |
|---|---|
| 1. 스텝 분할 | 원본 궤적을 결정론적 절차로 원자적 추론 스텝으로 나누고 정확한 문자 오프셋을 기록 |
| 2. 모드 할당 | 외부 LLM 전문가(GPT-6.1-Sol/GPT-5.6-Luna) 판단과 동결된 기본 모델의 스텝별 평균 토큰 엔트로피를 결합해 텍스트/잠재 모드 배정 |
| 3. 가시성 감사 | 독립 LLM 비평가가 잠재 후보를 숨긴 궤적만 보고 결정을 따라갈 수 있는지 평가, 결정적 정보가 빠지면 해당 스텝을 텍스트로 복원 |
| 4. 하이브리드 구성 | 인접한 잠재 스텝을 연속 구간으로 병합하고 latent 시작·종료 앵커 삽입, 앵커 제거 시 원본과 바이트 단위로 일치하는지 검증 |
엔트로피가 낮은(모델이 확신하는) 스텝은 잠재 후보가 되고, 엔트로피가 높은 스텝과 도구 상호작용, 감사에 중요한 스텝은 텍스트로 남는다. LLM 주석 프롬프트는 “도구 관련 스텝과 소수의 핵심 추론·답변 스텝만 텍스트로, 나머지 루틴한 내부 추론은 잠재로”라는 원칙을 명시한다.
HybridSFT
HybridSFT는 워밍업 성격의 활성화(activation) 단계와 자기 조건화(self-conditioned) 단계로 나뉜다.
형식 및 HybridLink 활성화 먼저 표준 텍스트 SFT로 백본이 두 앵커 토큰을 언제 출력해야 하는지(형식)를 학습한다. 그 다음 백본을 동결하고 HybridLink만 학습시켜, 잠재 위치의 마지막 계층 은닉 상태를 목표 입력 임베딩에 정렬한다.
1
2
L_Backbone = CE( f_θ(x), y )
L_HybridLink = λ_cos · (1 − cos(R_φ(h_lat), Emb(y_lat))) + λ_mse · ||R_φ(h_lat) − Emb(y_lat)||²
λ_cos, λ_mse는 각각 방향과 크기 정렬의 균형을 맞추며, 실험에서는 1.0 / 0.2를 사용했다.
자기 조건화 HybridSFT 활성화 단계는 둘 다 teacher forcing이라, 백본은 잠재 위치에서 항상 정답 임베딩만 보고 HybridLink 출력은 입력으로 다시 쓰이지 않는다. 반면 추론 시에는 잠재 모드에 들어가는 순간 모든 입력이 모델 자신의 R_φ(h)가 되므로, 학습-추론 불일치(exposure bias)가 생긴다.
텍스트 모드에서는 샘플링된 토큰이 항상 어휘 집합 안에 있어 오류가 입력 공간에서 누적되지 않는다. 반면 잠재 모드의 R_φ(h)는 양자화되지 않은 연속값이므로, 작은 편차도 학습 중 본 적 없는 입력이 되어 수십~수백 스텝에 걸쳐 누적되고 잠재 궤적의 의미 일관성을 무너뜨린다.
이를 해결하기 위해 두 번의 pass를 사용한다. 첫 번째 pass는 정답 하이브리드 시퀀스로 teacher forcing을 하면서, 잠재 위치의 은닉 상태를 HybridLink로 한 스텝 앞서 변환해 다음 pass용 잠재 입력을 만든다. 두 번째 pass는 같은 시퀀스를 처리하되 정답 잠재 임베딩을 모델 자신의 예측으로 바꾸고, 텍스트 위치에는 CE 손실, 잠재 위치에는 회귀 손실을 적용해 백본과 HybridLink를 함께 학습한다.
진입과 종료의 학습 방식도 비대칭이다. <latent> 진입은 텍스트 모드에서 결정되므로 일반 CE 타깃으로 다룬다. </latent> 종료는 잠재 상태에서 결정되므로, 각 구간의 마지막 잠재 스텝에서 HybridLink 회귀 타깃을 종료 앵커 임베딩으로 두고 내부보다 약간 높은 가중치를 주며, 백본에도 같은 은닉 상태에서 종료 앵커를 예측하는 CE 타깃을 함께 준다.
HybridRL
PPO나 GRPO 같은 표준 RL 알고리즘은 모든 생성 위치에 토큰 단위 likelihood가 있다고 가정하고 위치별 중요도 비율을 계산한다. 그러나 잠재 위치에서는 샘플링된 토큰이 아니라 연속 벡터가 생성되므로 likelihood가 없고 중요도 비율이 정의되지 않는다. HybridRL은 두 가지 구성 요소로 이 문제를 해결한다.
하이브리드 정책 분해(Hybrid Policy Factorization) HybridLink가 고정되어 있으면 잠재 전이는 확률 1의 결정론적 계산이고, 도구 응답은 환경이 생성해 마스킹되는 관찰이다. 따라서 샘플링이 일어나는 곳은 모델이 생성한 텍스트 위치뿐이며, 하이브리드 정책은 다음처럼 분해된다.
1
π_θ(τ | x) = Π_{t ∈ T(τ)} π_θ( y_t | x, τ_{<t} ) # T(τ): 샘플링된 텍스트 위치 집합
즉 샘플링된 텍스트 위치에 대한 likelihood 비율 업데이트만으로 전체 하이브리드 궤적을 최적화할 수 있다. 부록 C의 정리(Gradient Equivalence)는 텍스트 토큰 그래디언트의 합이 전체 궤적에 대한 advantage 가중 likelihood 그래디언트와 같음을 증명한다.
정확한 롤아웃 재생(Exact Rollout Replay) 정책 업데이트 시에는 롤아웃 당시와 동일한 잠재 사고를 조건으로 텍스트 토큰 likelihood를 다시 계산해야 한다. 롤아웃 중 잠재 사고를 텍스트 토큰, 도구 관찰과 함께 기록해 두고, 업데이트 시 기록된 잠재 입력은 고정한 채 전체 하이브리드 궤적을 임베딩 공간에서 한 번의 미분 가능한 forward pass로 재생한다. 잠재 입력이 고정되어도 그 앞의 은닉 상태는 파라미터에 의존하므로, 궤적 수준 보상이 백본의 하이브리드 컨텍스트 처리 방식까지 최적화한다.
보상은 단순하게 설계되었다.
1
r(τ) = r_correct + r_format + r_tool
r_correct는 정답 여부(검색 과제는 토큰 단위 F1, 수학은 Math Verify 0/1), r_format은 형식 위반 패널티(0/−1), r_tool은 Python과 검색을 모두 쓴 궤적에 주는 다중 도구 사용 보너스(0.1)다. 모드 사용 비율에 대한 명시적 보상은 없으며, 에이전트가 RL 과정에서 텍스트와 잠재 생성의 균형을 스스로 찾도록 했다. RL 동안 HybridLink는 결정론적 잠재 전이를 유지하기 위해 고정한다.
실험 설정
평가 벤치마크는 세 범주 11개다.
| 범주 | 벤치마크 |
|---|---|
| 수학 추론 | AIME 25, AIME 26, MATH500 |
| 지식 집약 추론 | GPQA-Diamond, MedQA, MuSiQue |
| 에이전틱 추론 | GAIA, HLE, WebWalker, SealQA, DeepSearchQA(DSQA) |
비교 기준선은 네 부류로 구성된다.
| 부류 | 방법 |
|---|---|
| 텍스트 기반 에이전틱 방법 | 표준 텍스트 SFT(도구 포함), GRPO, ARPO |
| 잠재 추론 방법 | SoftThinking, Coconut, SoftCoT |
| 프런티어 LLM 에이전트 | GPT-5.6-Luna, Kimi-K3, GLM-5.3-Flash, DeepSeek-V4.1-Flash, QwQ-32B |
| 에이전틱 프레임워크 | ReAct, Search-o1, WebThinker (Qwen3-14B 백본) |
주요 학습·추론 설정은 다음과 같다.
| 항목 | 설정 |
|---|---|
| 백본 | Qwen3-Base 4B / 8B / 14B |
| HybridSFT 데이터 | 하이브리드 궤적 54K |
| HybridRL 데이터 | 심층 추론 12K(DAPO), 에이전틱 검색 1K(ARPO) |
| SFT 하이퍼파라미터 | 최대 시퀀스 16,888, 배치 16, 백본 LR 7e-6, HybridLink LR 2e-4(활성화) / 5e-5(자기 조건화), 각 단계 1 epoch |
| RL 하이퍼파라미터 | 롤아웃 512 궤적(64 프롬프트 × 8), 8 미니배치 1 pass, LR 1e-6 고정, KL 0, 150 스텝(검색) / 200 스텝(수학) |
| 잠재 구간 길이 | 구간당 최소 16, 최대 256 스텝 |
| 도구 | 샌드박스 Python 인터프리터, 라이브 검색 엔진(Tavily 등), 궤적당 최대 10회, 검색당 상위 10개 스니펫 |
| 생성 예산 | 수학·지식 4,096, 에이전틱 24,000 (텍스트 토큰과 잠재 스텝 합산) |
| 샘플링 | 롤아웃 temperature 1.0, 평가 temperature 0.6 / top-p 0.95 / top-k 20 |
| 하드웨어 | H100 32장, 독립 시드 5회 |
기존 서빙 엔진은 멀티턴 하이브리드 생성을 지원하지 않기 때문에, 연구진은 verl과 vLLM을 확장해 텍스트·잠재·도구 호출 전환과 지속 KV 작업 메모리 전달을 구현했다. 도구 관찰은 토큰화되어 기존 작업 메모리에 KV 항목으로 추가될 뿐, 이전 컨텍스트를 재구성하거나 다시 prefill하지 않는다. 배치 롤아웃에서는 시퀀스별 상태를 추적해 같은 배치 안에서도 궤적마다 서로 다른 생성 상태를 가질 수 있다.
주요 결과
에이전틱 추론 벤치마크
에이전틱 추론 과제(Table 1)의 평균 점수를 정리하면 다음과 같다. GAIA, WebWalker, HLE는 평균, SealQA는 Seal-0 / Seal-Hard, DSQA는 완전 정답률 / F1이다.
| 방법 | GAIA | WebWalker | HLE | SealQA (S-0 / Hard) | DSQA (Acc / F1) |
|---|---|---|---|---|---|
| QwQ-32B | 18.9 | 4.3 | 9.6 | 1.8 / 10.6 | 11.3 / 23.9 |
| GLM-5.3-Flash | 30.1 | 9.0 | 14.2 | 9.0 / 22.0 | 16.0 / 38.5 |
| DeepSeek-V4.1-Flash | 39.8 | 16.5 | 28.4 | 14.4 / 33.5 | 19.3 / 38.6 |
| Kimi-K3 | 41.7 | 10.0 | 31.4 | 11.7 / 28.0 | 21.7 / 46.0 |
| GPT-5.6-Luna | 37.9 | 11.0 | 29.0 | 11.7 / 29.1 | 23.3 / 49.4 |
| Qwen3-14B (thinking) | 19.4 | 4.0 | 6.8 | 3.6 / 7.9 | 4.0 / 15.1 |
| Coconut (14B) | 6.8 | 2.0 | 4.2 | 0.0 / 2.8 | 2.0 / 7.5 |
| SoftThinking (14B) | 15.5 | 5.5 | 5.2 | 2.7 / 6.3 | 5.7 / 15.4 |
| GRPO (14B) | 36.9 | 38.5 | 8.6 | 17.1 / 24.4 | 18.6 / 43.9 |
| ARPO (14B) | 43.7 | 40.5 | 10.0 | 17.1 / 22.8 | 16.3 / 38.2 |
| HybridAgent (8B) | 43.7 | 42.5 | 14.4 | 22.5 / 35.8 | 20.0 / 40.7 |
| HybridAgent (14B) | 52.4 | 49.5 | 16.0 | 24.3 / 37.8 | 21.7 / 46.8 |
HybridAgent(14B)는 가장 강한 에이전틱 기준선 대비 평균 17.4% 향상되었다. GAIA, WebWalker, SealQA에서는 훨씬 큰 프런티어 에이전트보다도 높은 점수를 기록했다. 특히 GAIA Lv.2에서 55.8, Lv.3에서 33.3으로 난도가 높은 구간의 개선 폭이 크다. 에이전틱 프레임워크(Qwen3-14B 백본)의 GAIA 평균은 Search-o1 29.1, WebThinker 33.0, ReAct 32.0, WebWalker 평균은 각각 17.5, 19.5, 15.5에 머물렀다. 잠재 추론 기준선인 Coconut과 SoftThinking은 도구 사용 경로가 없어 에이전틱 과제에서 거의 작동하지 않았다. 5회 독립 실행 기준 HybridAgent의 평균 표준편차는 ±0.014, 95% 신뢰구간은 ±0.017이다.
수학과 지식 집약 검색
Table 2는 동일한 학습 예산과 모델 설정에서 SFT 단계와 RL 단계를 각각 비교한다(AIME는 avg@16).
8B (Qwen3-8B-Base)
| 방법 | AIME25 | AIME26 | MATH500 | GPQA-D | MedQA | MuSiQue |
|---|---|---|---|---|---|---|
| Coconut | 13.1 | 9.6 | 51.4 | 26.8 | 61.7 | 14.0 |
| SoftCoT | 16.5 | 17.9 | 63.6 | 28.9 | 62.0 | 19.5 |
| 표준 텍스트 SFT | 30.0 | 28.3 | 78.2 | 32.3 | 69.7 | 23.5 |
| HybridAgent (SFT) | 30.8 | 29.2 | 78.4 | 31.8 | 70.0 | 26.5 |
| GRPO | 36.3 | 39.4 | 82.0 | 43.9 | 74.3 | 27.5 |
| ARPO | 37.1 | 41.5 | 82.8 | 46.5 | 74.7 | 28.5 |
| HybridAgent (RL) | 39.2 | 43.3 | 84.6 | 48.0 | 75.3 | 32.0 |
14B (Qwen3-14B-Base)
| 방법 | AIME25 | AIME26 | MATH500 | GPQA-D | MedQA | MuSiQue |
|---|---|---|---|---|---|---|
| Coconut | 16.3 | 15.2 | 61.2 | 29.3 | 65.3 | 17.5 |
| SoftCoT | 22.7 | 23.8 | 74.0 | 36.4 | 67.7 | 20.0 |
| 표준 텍스트 SFT | 30.8 | 31.7 | 83.8 | 43.9 | 78.0 | 28.0 |
| HybridAgent (SFT) | 32.5 | 31.7 | 84.2 | 45.5 | 78.7 | 29.5 |
| GRPO | 40.8 | 42.5 | 87.4 | 52.5 | 81.0 | 32.0 |
| ARPO | 42.1 | 43.3 | 87.0 | 54.0 | 80.3 | 31.5 |
| HybridAgent (RL) | 43.3 | 45.8 | 88.2 | 55.1 | 81.7 | 34.5 |
동일 모델 크기와 학습 예산에서 HybridSFT는 대응하는 텍스트/잠재 기준선 대비 평균 18.5%, HybridRL은 10.4% 향상되었다. 4B 규모(부록 G.1)에서도 HybridRL은 AIME25 35.2, AIME26 37.5, MATH500 82.2, GPQA-D 40.9로 네 벤치마크 모두 최고 성능을 기록했고, ARPO보다 평균 2.0%p 높았다.
테스트 시간 확장성 어려운 수학·과학 문제 100개에서 샘플 수를 4, 8, 16, 32, 64로 늘려 pass@k를 측정한 결과, HybridAgent는 모든 모델 규모에서 뚜렷한 상승 추세를 보였다. 텍스트 전용 RL(GRPO) 에이전트보다 추가 테스트 시간 계산에서 더 큰 이득을 얻었다.
효율성과 비용
잠재 모드는 비용이 큰 명시적 토큰 디코딩 없이 생성을 이어 가므로 효율성 이점이 있다. HybridAgent는 텍스트 기반 기준선 대비 텍스트 토큰을 모델 규모에 따라 2.2~3.1배 적게 사용했고, 전체 생성 스텝을 최대 54% 줄였으며, 평균 2.1배 빠른 추론 속도를 보였다.
부록 G.2의 비용 분석은 텍스트 스텝과 잠재 스텝 모두를 백본 forward 1회로 계산하고(각각 어휘 투영 또는 HybridLink 비용 포함), H100 시간당 $2.50, BF16 피크 처리량 10% 활용을 가정했다.
| 백본 | 텍스트 에이전트 (TFLOP/문항) | HybridAgent (TFLOP/문항) | 100만 문항 비용 | 절감 배수 |
|---|---|---|---|---|
| Qwen3-4B-Base | 51.2 | 13.9 | $359 → $98 | 3.7배 |
| Qwen3-8B-Base | 62.5 | 17.2 | $439 → $121 | 3.6배 |
| Qwen3-14B-Base | 66.9 | 25.1 | $470 → $176 | 2.7배 |
디코딩 계산량은 62.5~72.9% 감소했다. 이 추정은 생성 계산만 포함하며, 프롬프트 prefill, 컨텍스트 의존 어텐션, 외부 도구 실행 비용은 제외되어 있다.
심층 분석
학습 단계별 효과
자기 조건화의 필요성 같은 Qwen3-14B-Base 백본으로 HybridSFT의 단계를 하나씩 추가하며 비교했다(Table 3).
| 방법 | AIME25 | AIME26 | MATH500 |
|---|---|---|---|
| Coconut | 16.3 | 15.2 | 61.2 |
| 표준 텍스트 SFT | 30.8 | 31.7 | 83.8 |
| Qwen3-14B-Base | 4.9 | 3.0 | 47.0 |
| + 형식 활성화 | 20.6 | 19.8 | 62.4 |
| + HybridLink 활성화 | 23.8 | 22.5 | 73.8 |
| + 자기 조건화 (HybridSFT) | 32.5 | 31.7 | 84.2 |
활성화만으로는 부족하며, 자기 조건화 감독이 HybridLink 활성화 대비 평균 30.5%를 더 끌어올려 표준 텍스트 SFT와 동등한 수준에 도달했다.
잠재 사고의 해석 가능성은 200개 질문에 대해 두 지표로 측정했다. 가독성(Readability)은 각 잠재 입력과 가장 가까운 토큰 임베딩 간 코사인 유사도의 평균이고, 맥락 특이성(Context Specificity)은 잠재 구간의 의사 텍스트가 같은 과제의 다른 질문보다 원래 질문과 더 많이 겹치는지를 Jaccard 비율로 측정한다. HybridLink 활성화가 먼저 잠재 내용을 해석 가능하게 만들고, 자기 조건화가 가독성과 의미 정보량을 더 선명하게 만드는 점진적 개선이 관찰되었다. 반면 충실도와 특이성이 낮은 방법(Coconut 등)은 임베딩 기하 구조의 읽을 수 없는 부산물을 주로 만들어 냈다.
HybridRL의 학습 동역학 14B 에이전트는 학습 스텝이 진행될수록 점점 더 많은 생성을 잠재 모드로 옮기면서 동시에 보상과 도구 호출 능력이 함께 증가했다. 에이전트가 더 빠른 잠재 사고에 추론을 넘기고, 외부 감사와 도구 사용에 필요한 핵심 스텝만 텍스트로 노출하는 방식으로 두 모드의 역할을 스스로 나누어 간다는 의미다.
보상 구성 요소 제거 실험 HybridAgent(8B)에서 보상 항을 하나씩 제거했다(Table 4).
| 보상 설계 | MATH500 | GAIA | WebWalker |
|---|---|---|---|
| HybridRL (8B) | 84.6 | 43.7 | 42.5 |
| r_correct 제거 | 79.2 | 35.9 | 37.5 |
| r_format 제거 | 80.6 | 40.7 | 40.5 |
| r_tool 제거 | 84.2 | 38.8 | 41.0 |
정답 보상 제거가 6.4~17.8%로 가장 큰 하락을 일으켰고, 형식 보상 제거는 4.7~6.9% 하락을 가져왔다. 도구 보상은 Python만으로 충분한 MATH500에서는 영향이 작았지만, GAIA와 WebWalker에서는 각각 11.2%, 3.5% 하락으로 이어졌다.
잠재 사고에 대한 인과적 의존성
잠재 사고가 실제로 기능적으로 쓰이는지 확인하기 위해, MATH500에서 잠재 벡터의 내용, 순서, 추론 길이에 개입했다(Table 5). 상대 교란 강도 δ는 원래 잠재 벡터 대비 변경량의 비율이다.
| 개입 유형 | 설정 | 강도 δ | 8B | 14B |
|---|---|---|---|---|
| 노이즈 | Gaussian 노이즈 0.5 | 0.5 | 72.6 | 75.0 |
| 노이즈 | Gaussian 노이즈 2.0 | 2.0 | 66.4 | 70.2 |
| 대체 | 무작위 토큰 임베딩으로 대체 | 1.6 | 41.2 | 44.6 |
| 대체 | 다른 문제의 잠재 구간으로 대체 | 1.4 | 44.8 | 48.6 |
| 대체 | 평균 잠재 벡터로 대체 | 1.0 | 53.6 | 58.4 |
| 대체 | 최근접 토큰 임베딩으로 대체 | 0.2 | 82.6 | 87.2 |
| 순서 | 블록 내 잠재 벡터 순서 섞기 | 0.8 | 73.2 | 76.4 |
| 계산 제한 | 잠재 구간을 1스텝으로 제한 | - | 72.2 | 75.0 |
| 계산 제한 | 잠재 모드 진입 차단(텍스트만) | - | 80.4 | 78.8 |
| HybridAgent | 개입 없음 | 0.0 | 84.6 | 88.2 |
다른 문제의 잠재로 바꾸면 44.9~47.0%, 무작위 토큰으로 바꾸면 49.4~51.3% 성능이 떨어졌다. 순서를 섞거나 잠재 구간을 1스텝으로 제한해도 13.4~15.0% 하락했다. 특히 다른 문제의 잠재로 대체하는 것이 더 강한 Gaussian 노이즈보다 훨씬 큰 하락을 일으켰는데, 이는 성능이 교란 크기가 아니라 잠재 사고의 의미 내용에 의존한다는 증거다. 최근접 토큰 임베딩으로 바꿔도 성능이 크게 유지된다는 점은 잠재 벡터가 실제로 토큰 임베딩 근처에서 의미를 담고 있음을 뒷받침한다.
HybridLink 설계 비교
채택한 2층 잔차 설계를 네 가지 대안과 14B 백본에서 비교했다(Table 6).
| HybridLink 설계 | MATH500 | MedQA | MuSiQue |
|---|---|---|---|
| 항등(정렬 없음, 은닉 상태 직접 재사용) | 71.4 | 73.7 | 24.5 |
| 1층 투영 | 83.6 | 79.7 | 28.5 |
| 1층 투영 + 잔차 | 86.4 | 80.3 | 31.0 |
| 2층 투영 | 85.8 | 81.0 | 31.5 |
| 2층 투영 + 잔차 (채택) | 88.2 | 81.7 | 34.5 |
잔차 연결은 층 깊이와 관계없이 평균 4.3%의 개선을 가져왔다. 잔차 경로가 은닉 상태의 의미를 보존하고, 학습된 투영이 이를 입력 임베딩 공간에 정렬한다는 설계 의도와 부합하는 결과다.
도구 사용과 감사 가능성
텍스트 모드의 도구 사용 보존 GRPO로 학습한 텍스트 에이전트와 비교했을 때, HybridAgent는 8B와 14B 모두에서 더 높은 유효 도구 호출 비율을 보였고, 유효 호출의 실행 성공률은 99.7%로 동일했다. 도구를 한 번 이상 호출한 질문에서 최종 정답률은 2.2~44.1% 향상되었다. 도구 실행 결과에 최종 답이 포함된 “유용한 도구 호출” 비율도 4.5~7.7% 높아, 단순히 올바르게 호출하는 것을 넘어 문제 해결에 더 직접 기여하는 증거를 가져왔다.
외부 감사 가능성 보존 추론을 잠재 모드로 옮기면 텍스트가 제공하던 외부 감사 가능성이 손상되지 않는지 MATH500, AIME25/26 총 560문제로 검증했다. 외부 관찰자는 노출된 텍스트 스텝, 도구 호출, 도구 출력만 보고 잠재 구간은 경계 표시 뒤에 숨겨진다.
| 측정 항목 | HybridAgent 8B | 텍스트 에이전트 8B | HybridAgent 14B | 텍스트 에이전트 14B |
|---|---|---|---|---|
| 인스턴스당 텍스트 토큰 | 302 | 596 | 284 | 497 |
| 인스턴스당 잠재 스텝 | 170 | - | 183 | - |
| 가시 토큰 100개당 핵심 추론 스텝 | 0.72 | 0.57 | 0.86 | 0.67 |
| 약한 모니터 AUROC (MATH500) | 0.840 | 0.772 | 0.860 | 0.818 |
| 강한 모니터 AUROC (전체) | 0.961 | 0.935 | 0.989 | 0.990 |
| 첫 오류 위치 정확도 (%) | 99.2 | 94.2 | 98.1 | 100.0 |
| 진단이 정답과 일치 (%) | 97.6 | 93.5 | 97.2 | 96.3 |
| 유용한 교정 힌트 / 정답 누출 (%) | 97.6 / 0.8 | 98.7 / 0.0 | 100.0 / 0.9 | 98.2 / 0.9 |
| 표적 힌트의 수정률 이득 (%p) | +9.1 | +3.4 | +5.4 | +3.5 |
| 가시 텍스트만으로 답 일치 이득 | +0.25 | +0.17 | +0.30 | +0.28 |
모니터링은 GPT-4o-mini(약한 모니터)와 GPT-5.6-Luna(강한 모니터)가 가시 궤적만 보고 정답 여부를 예측하는 방식, 디버깅은 GPT-5.6-Luna가 실패한 롤아웃의 첫 오류를 찾고 교정 힌트를 생성하는 방식으로 평가했다. HybridAgent는 텍스트 토큰을 43~49% 적게 노출하면서도 100토큰당 핵심 추론 스텝은 26~28% 더 많았다. 모니터 AUROC는 텍스트 에이전트와 0.022 이내 차이로 유지되었고, 실패한 롤아웃의 98~99%에서 첫 오류를 찾아냈으며, 정답 누출은 1% 미만이었다. 텍스트에서 도출한 교정 힌트로 재시도하면 일반적인 “틀렸으니 다시 하라” 피드백 대비 14B에서 5.4%p, 8B에서 9.1%p 수정률이 올랐다. 즉 텍스트 모드는 간결하지만 외부 모니터링, 디버깅, 교정에 충분한 정보를 담은 인터페이스 역할을 한다.
논의와 향후 방향
프런티어 에이전트의 안전과 보안 배포 프런티어 연구소들은 지적 재산 보호와 정보 유출 방지를 위해 API로 추론 모델을 제공하면서 chain-of-thought를 숨긴다. 그러나 클라이언트에 반환되는 암호화된 추론 흔적을 동계열 모델에 재생해 원문 그대로 받아 적을 수 있다는 연구(Panfilov et al., 2026)가 있다. HybridAgent에서 잠재 사고는 백본 은닉 상태로만 존재하고 제공자가 소유한 HybridLink를 통해서만 읽을 수 있으므로, 유출될 텍스트 자체가 없다. 반대로 제공자는 사용자가 보지 못하는 부분까지 포함한 전체 판독값으로 추론과 행동의 안전성을 평가할 수 있고, 텍스트 모드는 도구 호출, 핵심 결정, 최종 답변처럼 사용자에게 필요한 부분에만 쓰인다.
하이브리드 에이전트 하네스와 효율적 후학습 잠재 작업 메모리를 일급 구성 요소로 하는 새로운 에이전트 하네스를 만들 수 있다. 컨텍스트 관리는 KV 항목을 직접 다루고, 워크플로는 도구 호출과 사람이 확인하는 체크포인트는 텍스트로, 루틴한 계산은 잠재로 모드별 스케줄링을 할 수 있으며, 한 에이전트의 하이브리드 궤적이 다른 에이전트에게 보내는 메시지가 될 수도 있다. 후학습 측면에서도 롤아웃 중 잠재 사고를 감사할 수 있으므로, 외부 비평가가 텍스트나 도구 호출이 나오기 전에 잠재 구간에 스텝 단위 크레딧을 주거나, 유망한 궤적을 분기하거나, 이미 잘못된 궤적을 조기 종료할 수 있다.
관련 연구와의 차이 기존 적응형 추론 연구는 잠재 추론을 언제 멈출지 학습하거나, 신뢰도·엔트로피 신호로 불확실한 스텝에서 연속 표현으로 전환한다. 그러나 대부분 하나의 추론 pass 안이나 단일 턴 단위에서만 모드를 바꾸고, 잠재 상태는 직접 들여다보기 어렵다. 멀티 에이전트 시스템의 하이브리드 통신 프로토콜 연구는 에이전트 간 메시지를 잠재 채널과 텍스트 채널로 나누는 반면, HybridAgent는 단일 에이전트 안에서 생성 스텝 단위로 매체를 결정한다. KV 캐시 재사용 연구들이 KV 캐시를 “원칙적으로 텍스트로 재인코딩 가능한 컨텍스트”의 최적화로 다루는 것과 달리, HybridAgent는 KV 항목을 잠재와 텍스트 정보를 함께 저장·전파하는 통합 작업 메모리로 사용한다.
한계와 커뮤니티 반응
성능의 한계 HybridAgent(14B)는 모든 벤치마크에서 프런티어 모델을 앞서지는 못했다. HLE 평균은 16.0으로 Kimi-K3(31.4), GPT-5.6-Luna(29.0), DeepSeek-V4.1-Flash(28.4)에 크게 못 미쳤고, DSQA 완전 정답률 21.7은 Kimi-K3와 같고 GPT-5.6-Luna(23.3)보다 낮았다. 비용 추정은 디코딩 계산만 포함하며 prefill과 도구 실행 비용은 제외되어 있다. 또한 현재 서빙 엔진이 멀티턴 하이브리드 생성을 지원하지 않아, 연구진이 verl과 vLLM을 별도로 확장해야 했다.
실사용 보고와 질문 공개된 14B 모델을 llama.cpp에서 8비트 양자화로 실행했더니 같은 문단을 반복하다가 턴 예산을 소진했다는 보고가 있었다. BF16에서도 같은 현상이 나타나 양자화 문제라기보다 llama.cpp 호환성 문제일 수 있다는 추정과 함께, 채팅 템플릿이 올바른지도 확실하지 않다는 언급이 이어졌다. CSV 출력을 요청했는데 Markdown 표를 만들어 냈다는 지적도 있었다.
설계에 대한 질문과 제안도 나왔다. 텍스트를 생성할 때도 잠재 경로를 함께 실행해 두 벡터를 합치거나 더하는 방식이 가능하지 않겠느냐는 제안이 있었다. 왜 마지막 계층에서 입력으로만 되돌아가도록 설계했는지, 예를 들어 15번째가 아니라 6번째 계층의 변환이 필요한 경우는 어떻게 할지에 대한 질문도 제기되었다. 같은 잠재 공간 추론 계열인 Astra의 반복형(looped) 트랜스포머와 어떻게 다른지 묻는 의견도 있었으며, 이 구조는 가중치, 논문, 코드가 공개되어 있다고 소개되었다. Qwen 3.8 27B 같은 모델에 적용되면 반복 출력 문제를 잠재 공간에서 다뤄 개선될 수 있다는 기대도 있었다.
“인간도 텍스트로 생각하는가”라는 논쟁도 이어졌다. 내적 독백 없이 사고하는 사람이 상당수라는 반론과, 언어는 사고보다 의사소통을 위해 진화했다는 주장이 함께 나왔다.
결론
HybridAgent는 효율적인 잠재 추론과 텍스트 기반 감사·도구 상호작용을 하나의 생성 과정에서 결합한 프레임워크다. HybridLink는 약 1,000만 파라미터의 잔차 어댑터로 잠재 모드와 텍스트 모드 사이의 표현 불일치를 해소하고, KV 기반 연속 작업 메모리는 하이브리드 컨텍스트를 손실 없이 여러 턴에 걸쳐 전달한다. HybridSFT의 자기 조건화는 연속 잠재 입력의 exposure bias를 해결하고, HybridRL은 정책 분해와 정확한 롤아웃 재생으로 likelihood가 없는 잠재 위치 문제를 우회한다. 그 결과 11개 벤치마크와 3개 모델 규모에서 텍스트·잠재 기준선을 모두 앞서면서 토큰, 시간, 비용을 크게 줄였고, 학습이 진행될수록 에이전트가 스스로 추론은 잠재로, 행동과 핵심 결정은 텍스트로 나누어 맡기는 분업 구조가 나타났다. 노출되는 텍스트가 절반 가까이 줄어도 외부 모니터링과 디버깅이 유지된다는 점은, 잠재 추론이 블랙박스가 될 것이라는 우려에 대한 하나의 답이 될 수 있다. 다만 HLE 등 일부 고난도 벤치마크에서는 여전히 프런티어 모델과 격차가 크고, 범용 추론 엔진 지원이 아직 없다는 점은 실제 도입 전에 고려해야 할 부분이다.