Reasoning Models Generate Societies of Thought
목차
개요
Google Paradigms of Intelligence 팀과 University of Chicago, Santa Fe Institute 연구진이 2026년 1월 arxiv에 공개한 논문이다. DeepSeek-R1, QwQ-32B 같은 추론 모델이 왜 instruction-tuned 모델보다 잘 추론하는지를 다룬다.
기존 설명은 test-time computation의 확장, 즉 더 긴 chain-of-thought에 초점을 맞춰 왔다. 이 논문은 그 설명이 불충분하다고 본다. 추론 성능 향상의 원인은 길이 자체가 아니라 추론 트레이스 내부에서 벌어지는 다중 에이전트적 상호작용의 암묵적 시뮬레이션이라는 것이 핵심 주장이다. 저자들은 이를 society of thought라고 부른다.
논문은 세 축으로 이 주장을 검증한다. 첫째, LLM-as-judge로 추론 트레이스를 분류해 대화 행동과 사회정서적 역할의 존재를 정량화한다. 둘째, sparse autoencoder(SAE)로 대화 관련 피처를 찾아 스티어링하여 인과관계를 확인한다. 셋째, 정확도만 보상하는 강화학습 실험으로 대화 행동이 자발적으로 증가하는지 관찰한다.
연구 배경과 가설
저자들이 참조하는 이론적 배경은 인지과학과 사회과학 쪽이다. Mercier와 Sperber의 Enigma of Reason은 인간의 추론이 본래 사회적 과정으로 진화했으며, 지식은 상반된 관점 사이의 적대적 추론을 통해 출현한다고 본다. 집단이 개인보다 넓은 범위의 추론 과제에서 더 나은 성과를 내는 것도 정보 풀링, 신뢰도 보정, 다양한 관점 사이의 균형 잡힌 턴테이킹 덕분이라는 연구가 축적되어 있다.
개인 수준에서도 다중 관점 시뮬레이션은 효과가 있다. 단일하고 자기중심적인 관점은 체계적 편향을 낳지만, 변증법적 사고처럼 자기 거리두기가 된 여러 관점을 시뮬레이션하면 의사결정 편향이 줄어든다. Bakhtin의 dialogic self, Cooley와 Mead의 looking glass self는 인간의 사고 자체가 여러 관점 사이의 내면화된 대화 형태를 띤다고 주장한다. Minsky의 Society of Mind 역시 지능을 상호작용하는 인지 에이전트들의 창발적 속성으로 개념화했다.
여기서 도출되는 가설은 다음과 같다. 강화학습이 정답을 산출하는 행동 패턴을 체계적으로 선택하고 보상하는 과정에서, 다중 에이전트 상호작용을 닮은 행동 패턴이 선택되었을 수 있다는 것이다. 그리고 이 시뮬레이션된 상호작용이 모델의 효과적 추론을 가능하게 한다는 것이다.
실험 셋업
데이터와 모델
추론 벤치마크 6종에서 8,262개 문제를 샘플링해 사용한다.
| 벤치마크 | 과제 성격 |
|---|---|
| BigBench Hard | 다단계 논리 추론, 참조 추적, 조합적 추론 |
| GPQA | 대학원 수준 STEM 추론 (Diamond, Extended, Main) |
| MATH (Hard) | 대수, 기하, 확률, 정수론 등 다단계 유도 |
| MMLU-Pro | 고급 개념 지식 |
| IFEval | 지시 따르기 일관성 |
| MUSR | 살인 미스터리, 물체 배치, 팀 배분 등 구조적 추론 |
BigBench Hard는 Boolean Expressions, Causal Judgment, Date Understanding, Logical Deduction, Tracking Shuffled Objects, Web of Lies 등 24개 하위 과제로 구성된다.
모델은 총 6개를 사용한다. 추론 모델 2개는 DeepSeek-R1-0528(671B 파라미터)과 QwQ-32B다. instruction-tuned 모델 4개는 DeepSeek-V3-0324(671B), Qwen-2.5-32B-Instruct, Llama-3.3-70B-Instruct, Llama-3.1-8B-Instruct다.
비교 쌍이 중요하다. DeepSeek-V3는 DeepSeek-R1이 파생된 DeepSeek-V3-Base의 instruction-tuned 버전이고, Qwen-2.5-32B-IT는 QwQ-32B가 파생된 Qwen-2.5-32B의 instruction-tuned 버전이다. 즉 같은 베이스에서 강화학습 유무만 갈린 쌍을 비교한다.
생성은 zero-shot 세팅이고 temperature는 0.6으로 고정한다.
측정 지표와 신뢰도
주석은 Gemini-2.5-Pro를 LLM-as-judge로 사용한다. 인간 평정자와의 평균 ICC(3,1)은 0.756, GPT-5.2와의 평균 ICC(3,1)은 0.875로 상당한 수준의 일치를 보인다.
대화 행동 4종에 대한 개별 신뢰도는 다음과 같다.
| 대화 행동 | Gemini vs GPT-5.2 ICC | Gemini vs 인간 ICC |
|---|---|---|
| Question and Answering | 0.856 | 0.634 |
| Perspective Shift | 0.849 | 0.737 |
| Conflict of Perspectives | 0.912 | 0.864 |
| Reconciliation | 0.804 | 0.664 |
인지 행동 4종(verification, backtracking, subgoal setting, backward chaining)의 평균 ICC는 GPT-5.2 대비 0.848, 인간 대비 0.760이다.
문제 복잡도는 두 방식으로 측정한다. 하나는 Gemini-2.5-Pro의 7점 리커트 척도 평정이고, 다른 하나는 instruction-tuned 모델 4개의 오답 수(0에서 4)다. 두 측정치의 Spearman 상관은 0.526이다.
방법론
대화 행동과 사회정서적 역할
대화 행동은 네 가지로 정의한다.
| 행동 | 정의 |
|---|---|
| Question and Answering | 질문을 던지고 이후 답하는 시퀀스 |
| Perspective Shift | 다른 아이디어, 관점, 가정, 접근으로 전환 |
| Conflict of Perspectives | 다른 관점과의 불일치, 정정, 긴장 표현 |
| Reconciliation | 충돌하는 관점을 통합하거나 일관되게 해소 |
사회정서적 역할은 Bales의 Interaction Process Analysis(IPA) 프레임워크를 따른다. 12개 역할을 4개 상위 범주로 묶는다.
| 상위 범주 | 세부 역할 |
|---|---|
| 정보 제공 | 제안 제공, 의견 제공, 방향 제공 |
| 정보 요청 | 제안 요청, 의견 요청, 방향 요청 |
| 긍정적 정서 | 연대 표시, 긴장 완화, 동의 |
| 부정적 정서 | 적대감 표시, 긴장 표시, 반대 |
행동 차이 추정에는 문제 수준 고정효과를 넣은 선형확률모형을 쓴다. 추론 트레이스 길이의 로그값을 통제해, 관찰된 차이가 단순히 긴 chain-of-thought 때문이 아님을 보인다.
1
Y_ij = Σ_m β_m · Model_{m,ij} + γ · log(Len_ij) + δ_i + α + ε_ij
여기서 i는 개별 문제, j는 개별 추론 트레이스를 인덱싱한다. Y_ij는 해당 행동이 1회 초과로 나타나면 1인 이진 변수다. δ_i는 문제 수준 고정효과로, 문제의 난이도, 표현, 주제 내용에 결부된 모든 변동을 흡수한다. DeepSeek-V3 또는 Qwen-2.5-32B-IT가 참조 범주가 된다. 강건 표준오차는 과제 수준에서 클러스터링하고, 추정은 StataNow/SE 19.5로 수행한다.
역할 균형은 Jaccard 지수로 측정한다. 쌍의 두 역할을 모두 포함하는 트레이스 수를 둘 중 하나라도 포함하는 트레이스 수로 나눈 값이다.
SAE 피처 스티어링
DeepSeek-R1-Llama-8B의 Layer 15 residual stream에 학습된 SAE(15-llamascope-slimpj-res-32k)를 사용한다.
| 하이퍼파라미터 | 값 |
|---|---|
| 피처 수 | 32,768 |
| Hook | blocks.15.hook_resid_post |
| Context Size | 1024 |
| Input Dimension | 4096 |
| Data Type | float32 |
| Architecture | jumprelu |
| 학습 데이터 | cerebras/Slimpajama-627B |
| 피처 설명용 평가 데이터 | Hzfinfdu/SlimPajama-3B |
피처 탐색 절차는 다음과 같다. 32,768개 피처 각각에 대해 SlimPajama-3B에서 강하게 활성화되는 컨텍스트 약 50개를 샘플링한다. Gemini-2.5-flash-lite로 각 컨텍스트가 대화적 상황인지 분류해 피처별 conversation ratio를 계산한다. conversation ratio가 50%를 넘고, 문장 시작 부근(첫 4개 토큰 이내)에서 활성화되는 비율이 50% 이상인 피처를 후보로 남긴다.
최종 선택된 것이 Feature 30939다. Gemini-2.5-Pro가 “a discourse marker for surprise, realization, or acknowledgment”로 요약했고, 턴테이킹과 사회적 교환이 일어나는 맥락에서 “Oh!” 같은 토큰에 활성화된다. conversation ratio는 65.7%로 전체 피처 중 99번째 백분위이며, sparsity는 0.016%로 매우 희소하다.
스티어링은 activation addition 방식이다. 매 토큰 생성 스텝마다 Layer 15 residual stream 활성값에 디코더 벡터를 스케일링해 더한다.
1
h'_t = h_t + s · d_30939
h_t는 토큰 위치 t의 원래 활성값, d_30939는 Feature 30939의 디코더 벡터, s는 스티어링 강도다. 처음에는 s가 -15에서 +15까지 7개 조건을 생성했으나, 절댓값 15는 과도한 스티어링으로 정확도가 떨어져 -10, -5, 0, +5, +10만 사용한다.
평가 과제는 Countdown 게임 1,024문제다. 주어진 숫자들을 사칙연산과 괄호로 조합해 목표값을 만드는 다단계 산술 추론 벤치마크다. 예를 들어 입력이 25, 30, 3, 4이고 목표가 32이면 (30 - 25 + 3) × 4 = 32가 정답이다. 채점은 Gemini-2.5-flash-lite로 한다.
피처 다양성 측정에는 coverage와 entropy를 쓴다. Neuronpedia가 제공하는 피처 설명을 Gemini-2.5-flash-lite가 personality 관련, expertise 관련, 기타로 분류한다. 32,768개 중 5,455개가 personality 관련, 15,436개가 expertise 관련으로 라벨링됐다. coverage는 범주 내에서 활성화된 고유 피처 수, entropy는 활성화 분포의 Shannon 엔트로피다.
1
H_c = - Σ_f (n_cf / Σ n_c) · log(n_cf / Σ n_c)
암묵적 관점 다양성 측정
Gemini-2.5-Pro가 세 단계 작업을 순차 수행한다. 먼저 추론 트레이스에 존재하는 서로 다른 관점의 개수를 추론한다. 다음으로 각 관점에 대해 BFI-10(10문항 Big Five Inventory)에 그 관점의 입장에서 응답하고, 도메인 전문성을 자유 서술로 요약한다. 마지막으로 트레이스의 각 구간을 특정 관점에 귀속시킨다.
성격 다양성은 각 Big Five 차원별 표준편차다.
1
P_j = sqrt( (1/N) · Σ_i (v_ij - v̄_j)^2 )
전문성 다양성은 EmbeddingGemma-300M으로 임베딩한 전문성 서술문들의 중심점 대비 평균 코사인 거리다.
1
E = (1/N) · Σ_i ( 1 - (e_i · ē) / (||e_i|| · ||ē||) )
관점이 하나뿐이면 두 값 모두 0이다.
이 프로토콜의 타당성은 Intelligence Squared Debates Corpus로 검증한다. 2명에서 8명이 참여한 인간 논쟁 대화 1,196건이며 화자 라벨과 참가자 약력이 있다. 화자 태그를 모두 제거하고 하나의 텍스트 블록으로 연결해 LLM 추론 트레이스 형태로 만든 뒤 판정한다.
| 검증 항목 | 결과 |
|---|---|
| 참여자 수 예측 Spearman 상관 | 0.86 |
| 발화 턴 수 예측 Spearman 상관 | 0.89 |
| 토큰 단위 화자 귀속 정확도 (2인) | 82% |
| 토큰 단위 화자 귀속 정확도 (3인) | 76% |
| 토큰 단위 화자 귀속 정확도 (4인) | 69% |
| 관점 분포 가중 평균 정확도 | 73% |
| 실제 약력 기반 전문성 다양성과의 상관 | 0.55 |
토큰 단위 귀속은 Hungarian algorithm으로 예측 관점 ID와 실제 화자를 일대일 매칭한 뒤 계산한다.
강화학습 실험 설계
Countdown 과제에서 PPO를 Verl 프레임워크로 250 스텝 학습한다. DeepSeek-R1은 GRPO를 쓰지만, 이 논문은 하이퍼파라미터 전반에서 안정성이 좋은 PPO를 택했다. 사전 분석에서 PPO와 GRPO 사이 학습 성능 차이는 유의하지 않았다.
보상은 정확도와 형식만 준다.
1
R = 0.9 · 1{answer is correct} + 0.1 · 1{format is correct}
format은 <think> 블록과 <answer> 블록이 각각 최소 하나씩 있고 답이 방정식 형태로 하나 제시되면 1이다. 대화 행동이나 인지 행동에는 어떤 보상도 직접 주지 않는다.
| PPO 하이퍼파라미터 | 값 |
|---|---|
| Training / validation batch size | 128 / 640 |
| Context window | 프롬프트 1024 + 응답 1024 토큰 |
| Actor learning rate | 1e-06 |
| Critic learning rate | 1e-05 |
| KL coefficient | 0.001 |
| PPO mini-batch size | 64 |
| Number of rollouts | 4 |
| Rollout temperature | 1.0 |
| Accuracy weight | 0.9 |
| Format weight | 0.1 |
세 가지 조건을 비교한다. Baseline은 사전 파인튜닝 없이 바로 RL을 돌린다. Conversation fine-tuning은 다중 에이전트 대화 데이터로 SFT를 먼저 한다. Monologue fine-tuning은 단일 화자 chain-of-thought 트레이스로 SFT를 먼저 한다.
SFT 데이터는 Qwen-2.5-32B-IT로 생성한다. Countdown 문제에 대해 2인, 3인, 4인 설정별로 각각 1,200건씩 총 3,600건의 다중 에이전트 대화를 만든다. 그중 정답에 도달한 600건을 샘플링한다(설정별 200건씩, 학습 500 / 검증 100).
대화 데이터는 페르소나 정의로 시작한다. 예를 들어 <persona1>은 정수론 배경이 탄탄한 꼼꼼한 수학자, <persona2>는 가정을 기꺼이 반박하는 직관적 문제 해결자로 정의된다. 이후 <think1>, <think2> 태그 안에서 서로의 추론을 이어받고 질문하고 정정하는 턴테이킹이 이어지며, 마지막에 <group_solution> 또는 <group_consensus>로 수렴한다.
모놀로그 데이터는 동일한 600문제에 대해 단일 화자가 <think> 안에서 단계별로 추론하고 정답에 도달하는 트레이스다. 두 데이터셋은 동일한 문제와 동일한 정답을 담고 있어, 성능 차이가 추론 형식에서 온 것임을 분리할 수 있다.
| SFT 하이퍼파라미터 | 값 |
|---|---|
| Training / validation dataset size | 500 / 100 |
| Context window | 2048 |
| Training / validation batch size | 64 / 64 |
| Optimizer | AdamW |
| Peak learning rate | 1e-05 |
| Warmup | Linear, 전체 스텝의 10% |
| Annealing | Cosine |
| Total epochs | 5 |
도메인 전이 검증에는 PolitiFact의 팩트체크된 주장 23,299건을 사용한 정치 허위정보 탐지 과제를 쓴다.
주요 결과
대화 행동의 출현 빈도
추론 모델은 instruction-tuned 모델보다 대화 행동을 압도적으로 자주 보인다. 아래는 트레이스 길이 로그값과 문제 고정효과를 통제한 회귀계수다.
| 비교 | 대화 행동 | 계수 | 95% CI |
|---|---|---|---|
| R1 vs V3 | Question and Answering | 0.345 | 0.328 ~ 0.361 |
| R1 vs V3 | Perspective Shift | 0.213 | 0.197 ~ 0.230 |
| R1 vs V3 | Reconciliation | 0.191 | 0.176 ~ 0.207 |
| QwQ vs Qwen-IT | Question and Answering | 0.459 | 0.444 ~ 0.475 |
| QwQ vs Qwen-IT | Perspective Shift | 0.378 | 0.362 ~ 0.394 |
| QwQ vs Qwen-IT | Conflict of Perspectives | 0.293 | 0.277 ~ 0.308 |
| QwQ vs Qwen-IT | Reconciliation | 0.344 | 0.328 ~ 0.360 |
대부분의 계수에서 p 값은 1e-100 수준 이하이며, 일부는 1e-323 미만이다. 주목할 점은 instruction-tuned 모델의 대화 행동 빈도가 파라미터 수(8B, 32B, 70B, 671B)와 무관하게 일관되게 낮다는 것이다. 크기를 키운다고 대화적 추론이 생기지는 않는다.
원시 카운트로 보면 격차가 더 뚜렷하다.
| 대화 행동 | DeepSeek-R1 | QwQ-32B | DeepSeek-V3 | Qwen-2.5-32B-IT |
|---|---|---|---|---|
| Question answering | 6.74 | 6.68 | 3.07 | 2.35 |
| Perspective shifts | 3.47 | 5.41 | 1.09 | 0.79 |
| Conflict of perspectives | 3.19 | 5.27 | 1.50 | 0.97 |
| Reconciliations | 1.97 | 2.52 | 0.61 | 0.41 |
사회정서적 역할에서도 같은 패턴이 나온다. DeepSeek-R1은 DeepSeek-V3 대비 요청 행동이 0.189, 부정적 역할이 0.162, 긍정적 역할이 0.278 더 높다. QwQ-32B는 Qwen-2.5-32B-IT 대비 각각 0.200, 0.450, 0.312 더 높다. instruction-tuned 모델은 방향, 의견, 제안을 일방적으로 제공할 뿐 상호적 요청이나 정서적 관여가 거의 없다.
세부 역할 카운트를 보면 차이의 성격이 드러난다.
| 사회정서적 역할 | DeepSeek-R1 | QwQ-32B | DeepSeek-V3 | Llama-3.3-70B-IT |
|---|---|---|---|---|
| Ask for orientation | 2.67 | 2.19 | 0.01 | 0.00 |
| Give orientation | 29.67 | 26.17 | 8.26 | 6.20 |
| Tension | 3.82 | 9.65 | 0.14 | 0.21 |
| Disagree | 2.56 | 3.09 | 0.49 | 0.25 |
| Agree | 3.59 | 3.50 | 0.18 | 0.03 |
Jaccard 지수로 본 역할 균형도 추론 모델이 높다. DeepSeek-R1은 ask and give 쌍에서 0.222, positive and negative 쌍에서 0.189 높다. QwQ-32B는 각각 0.284, 0.200 높다. 역할을 고립적으로 배치하는 것이 아니라 상호적으로 조율한다는 뜻이다.
문제가 어려울수록 이 행동들이 더 자주 나타난다. LLM-as-judge 복잡도 평정과 비추론 모델 오답률 두 측정 모두에서 일관된 패턴이 관찰된다. GPQA나 어려운 수학 문제처럼 복잡도가 높은 과제에서는 대화 패턴이 강하게 나타나고, boolean expression이나 기본 논리 연역처럼 단순한 절차적 과제에서는 거의 나타나지 않는다. 예외는 방향 제공과 의견 제공으로, 이들은 복잡도와 뚜렷한 관계를 보이지 않는다.
스티어링이 정확도를 두 배로 올린다
Feature 30939를 +10 강도로 스티어링하면 Countdown 정확도가 27.1%에서 54.8%로 두 배 이상 오른다. 반대로 -10으로 스티어링하면 23.8%로 떨어진다.
스티어링은 네 가지 대화 행동을 동시에 증가시킨다.
| 대화 행동 | 0에서 +10 계수 | 0에서 -10 계수 |
|---|---|---|
| Question and Answering | 2.199 | -0.831 |
| Perspective Shift | 1.160 | -0.966 |
| Conflict of Perspectives | 1.062 | -1.347 |
| Reconciliation | 0.423 | -0.052 |
정성적으로도 차이가 뚜렷하다. +10 조건에서는 모델이 이전 접근을 능동적으로 반박하는 트레이스가 나온다(“Wait, let me see… Another idea…”). -10 조건에서는 내적 논쟁 없이 평평한 선언형 추론이 생성된다.
이 효과가 대화 피처에 특수한 것인지 확인하기 위해 세 조건을 비교한다. Feature 30939 스티어링, 무작위 대화 피처 스티어링, 무작위 비대화 피처 스티어링이다. 조건 2와 3은 각각 300개 피처를 무작위 샘플링해 피처당 16문제씩 풀린다. 모든 조건의 스티어링 강도는 SlimPajama-3B 샘플에서 관측된 해당 피처의 최대 활성 강도의 2배로 설정한다.
Feature 30939는 나머지 두 조건보다 확연히 큰 향상을 낸다. 그리고 무작위 대화 피처만으로도 무작위 비대화 피처보다 4.17% 더 높은 정확도를 낸다(계수 0.042, 95% CI 0.016 ~ 0.068). 활성값에 대한 임의의 섭동이 아니라 대화적 역학 자체가 향상을 만든다는 근거다.
메커니즘 쪽에서는 인지 행동이 매개한다. 스티어링을 0에서 +10으로 올리면 네 가지 인지 행동이 모두 단조 증가한다.
| 인지 행동 | 0에서 +10 차이 | 0에서 -10 차이 |
|---|---|---|
| Verification | 5.815 | -2.302 |
| Backtracking | 0.881 | -1.138 |
| Subgoal setting | 0.621 | -0.171 |
| Backward chaining | 0.809 | -0.353 |
구조방정식 모형으로 경로를 분해하면 직접효과와 간접효과가 모두 유의하다. 직접효과는 0.228(95% CI 0.183 ~ 0.273, z=9.98, N=2048)이고, 인지 행동을 통한 간접효과는 0.066(95% CI 0.046 ~ 0.086, z=6.38)이다. 대화 피처는 해 공간 탐색을 직접 개선하는 동시에 체계적 문제 해결을 뒷받침하는 인지 전략을 스캐폴딩한다.
성격과 전문성의 다양성
관점 수를 통제한 상태에서 추론 모델은 성격 다양성이 유의하게 높다.
| Big Five 차원 | R1 vs V3 계수 | QwQ vs Qwen-IT 계수 |
|---|---|---|
| Extraversion | 0.103 | 0.253 |
| Agreeableness | 0.297 | 0.490 |
| Neuroticism | 0.567 | 0.825 |
| Openness | 0.110 | 0.268 |
| Conscientiousness | -0.291 | -0.402 |
Conscientiousness만 방향이 반대다. 추론 모델의 목소리들은 성실성 측면에서는 일관되게 관여적이고 충실하다는 뜻이다. Agreeableness와 Neuroticism의 효과가 특히 크다는 점은 추론 모델이 생성하는 관점들이 서로 더 자주 반대하고 도전한다는 것을 시사한다.
흥미롭게도 이 패턴은 인간 팀 다양성 연구와 일치한다. 외향성과 신경증의 변산은 팀 성과를 높이지만 성실성의 변산은 오히려 조율과 효율을 해친다는 선행 연구가 있다.
전문성 다양성 역시 추론 모델이 높다. DeepSeek-R1은 DeepSeek-V3보다 0.179(95% CI 0.161 ~ 0.196), QwQ-32B는 Qwen-2.5-32B-IT보다 0.250(95% CI 0.231 ~ 0.269) 높다. 이론물리학, 분석적 추론, 금융, 창작 등의 전문성이 하나의 트레이스에 공존하면 임베딩 간 평균 거리가 커진다.
이 텍스트 수준 관찰은 활성값 수준에서도 재현된다. Feature 30939를 +10으로 스티어링하면 personality 관련 피처 coverage가 315.915개(95% CI 277.320 ~ 354.509), expertise 관련 피처 coverage가 391.312개(95% CI 313.743 ~ 468.880) 늘어난다. 엔트로피도 각각 0.262, 0.096 증가한다. 단순히 출력이 길어져서 생긴 결과가 아님을 보이기 위해 트레이스 길이와 문제 고정효과를 통제한 값이다.
스티어링 이후 활성화가 늘어난 personality 피처의 예로는 Feature 21065(사회적 이슈에 대한 비격식적 혼란이나 좌절 표현), Feature 26139(사회적 상호작용과 커뮤니티 참여 관련 표현), Feature 14476(서사 내 정서적 또는 선정적 주제 언급) 등이 있다.
별도 검증으로 DeepSeek-R1, DeepSeek-V3, Llama-3.3-70B-IT, Llama-3.1-8B-IT의 트레이스를 Llama-3.1-8B-IT에 입력하고 Layer 16 SAE로 활성값을 추출했다. 여기서도 DeepSeek-R1 트레이스가 다른 모델보다 성격과 전문성 피처의 coverage와 entropy가 모두 유의하게 높았다.
강화학습에서의 자발적 출현
Qwen-2.5-3B 베이스 모델을 정확도와 형식만 보상하며 250 스텝 학습하면 정확도가 거의 0에서 약 58%까지 오른다. 동시에 대화 행동 빈도가 직접 보상 없이 상승한다.
Question and Answering이 먼저 나타나고 가장 빠르게 증가한다. Conflict of Perspectives가 그 뒤를 따르고, Perspective Shift는 약 160 스텝까지 증가하다가 이후 감소한다. 모델이 더 적은 관점 전환으로 답에 도달할 수 있게 되면서 나타나는 현상으로 해석된다. Reconciliation은 학습 내내 거의 증가하지 않는데, 개별 접근들이 통합되기보다 경쟁하는 상태에 머문다는 뜻이다.
정성적 변화도 관찰된다. 스텝 40에서는 기계적이고 열거적인 chain-of-thought가 나온다. 스텝 120에서는 두 개의 구별되는 시뮬레이션 페르소나가 나타나고 “we”라는 대명사로 자신들의 집합성을 인식한다(“Again no luck”, “Maybe we can try using negative numbers”).
LLM-as-judge 평정에 따르면 이 두 페르소나는 성격 프로파일이 다르다. 하나는 Conscientiousness가 높고 Openness가 낮은 방법론적 문제 해결자다. 다른 하나는 Openness와 Extraversion이 높은 탐색적 시행착오 사고자다. 그리고 Neuroticism으로 표시되는 해결 가능성에 대한 메타인지적 성찰이 둘 사이를 매개한다. verification과 backtracking 같은 인지 행동도 함께 증가한다.
대화 스캐폴딩의 효과는 조건 비교에서 확인된다.
| 모델 | 스텝 | 대화 SFT 정확도 | 모놀로그 SFT 정확도 |
|---|---|---|---|
| Qwen-2.5-3B | 40 | 약 38% | 약 28% |
| Llama-3.2-3B | 70 | 약 11% | 약 5% |
| Llama-3.2-3B | 150 | 약 40% | 약 18% |
Llama-3.2-3B에서는 학습이 진행될수록 격차가 오히려 벌어진다. 스텝 150 기준으로 모놀로그 조건은 대화 조건의 절반에도 못 미친다. 두 조건이 동일한 문제와 동일한 정답으로 학습되었다는 점을 감안하면, 정답 노출이나 과제 지식이 아니라 대화 구조 자체가 개선을 만든다는 해석이 가능하다.
도메인 전이도 확인된다. Countdown 대화 데이터로 파인튜닝한 모델을 성격이 전혀 다른 정치 허위정보 탐지 과제에서 평가했을 때, 해당 도메인을 학습 중 한 번도 본 적이 없음에도 baseline보다 빠른 정확도 향상을 보인다.
매개 분석 결과
대화 행동 4종, 사회정서적 역할 4종, 인지 행동 4종을 매개변수로 두고 과제 정확도를 결과변수로 하는 구조방정식 모형을 추정했다.
| 경로 | 계수 |
|---|---|
| DeepSeek-R1의 정확도에 대한 총효과 | 0.26 |
| 직접효과 (측정된 매개변수로 설명되지 않는 부분) | 0.06 |
| 사회적 행동을 통한 간접효과 | 0.07 |
| 인지 행동을 통한 간접효과 | 0에서 통계적으로 구분되지 않음 |
| 사회적 행동에서 인지 행동을 거치는 경로 | 0.01 |
정확도의 20% 이상이 추론 트레이스에 나타난 사회적 행동의 직간접 효과로 설명된다. 인지 행동만 놓고 보면 독립적 기여가 유의하지 않다는 점이 특히 눈에 띈다. verification이나 backtracking 같은 인지 전략은 사회적 행동을 경유할 때 정확도로 이어진다.
한계와 주의사항
강화학습 실험은 3B 규모의 작은 모델(Qwen-2.5-3B, Llama-3.2-3B)에서만 수행되었다. 과제도 Countdown 산술 퍼즐과 허위정보 탐지로 비교적 단순하다. 대형 모델과 복잡한 과제에서 같은 결론이 유지되는지는 검증되지 않았다.
스티어링 실험은 DeepSeek-R1에서 증류된 8B 모델(DeepSeek-R1-Llama-8B)의 단일 레이어(Layer 15), 단일 피처(Feature 30939)에 대해 수행되었다. 671B 원본 모델의 내부 표현에 같은 구조가 있는지는 직접 확인되지 않았다. 또한 절댓값 15의 과도한 스티어링에서는 정확도가 오히려 하락해, 효과에 적정 구간이 존재한다.
측정의 상당 부분이 LLM-as-judge에 의존한다. 인간 및 다른 LLM과의 일치도는 높지만 완전하지 않다. Subgoal Setting(인간 대비 ICC 0.559)과 Backward-Chaining(0.578)은 상대적으로 일치도가 낮다. 관점 귀속의 토큰 단위 정확도는 2인일 때 82%지만 4인에서는 69%로 떨어지고, 실제 추론 트레이스의 관점 분포로 가중하면 73%다.
논문 스스로 밝히듯 저자들은 추론 트레이스를 시뮬레이션된 인간 집단의 담론으로 볼 것인지, 아니면 그런 담론에 대한 계산적 마음의 시뮬레이션으로 볼 것인지에 대해 입장을 정하지 않는다. 성숙한 개인의 마음 자체가 다중 에이전트 상호작용의 시뮬레이션에서 발달한다는 인지 이론을 고려하면 이 구분 자체가 모호해진다는 것이 저자들의 설명이다.
인간 팀 연구와의 정렬은 해석의 렌즈로 제시된 것이지 인과적 동일성을 주장하는 것은 아니다. 성격 다양성이 팀 성과를 높인다는 인간 연구 결과와 모델 관찰이 일치한다는 점은 흥미롭지만, 두 현상이 같은 메커니즘을 공유한다는 증거는 아니다.
결론
추론 모델은 단순히 더 길거나 정교한 chain-of-thought를 생성하는 것이 아니다. 질문을 던지고, 대안적 관점을 도입하고, 충돌을 만들고 해소하며, 다양한 사회정서적 역할을 조율하는 사회적이고 대화적인 과정의 패턴을 보인다. 이 패턴은 671B, 70B, 32B, 8B 어느 크기의 비추론 모델에서도 거의 나타나지 않으며, 트레이스 길이를 통제해도 마찬가지다.
세 가지 증거가 이 주장을 뒷받침한다. 첫째, 행동 수준에서 대화 행동과 역할 균형이 추론 모델에서 압도적으로 높고 어려운 문제일수록 강하게 나타난다. 둘째, 대화 관련 SAE 피처를 스티어링하면 정확도가 27.1%에서 54.8%로 두 배가 되며, 이 효과는 무작위 피처 섭동으로는 재현되지 않는다. 셋째, 정확도만 보상하는 강화학습에서 대화 행동이 자발적으로 증가하고, 대화 형식으로 사전 파인튜닝한 모델이 동일한 정답을 학습한 모놀로그 모델보다 빠르게 개선된다.
사회적 추론 구조가 명시적 인간 감독이나 파인튜닝이 아니라, 정답을 산출하는 능력에 대한 보상만으로 강화학습을 통해 자율적으로 출현한다는 점이 핵심이다. 저자들은 이를 근거로 test-time computation이 확장될수록 추론 트레이스가 고립된 모놀로그에서 분화된 내적 관점들 사이의 구조화된 대화로 진화하는 social scaling을 연구할 가치가 있다고 제안한다.
실무 관점에서의 함의는 멀티 에이전트 아키텍처 설계와 연결된다. 계층 구조, 복잡한 네트워크, 에이전트 기관 같은 다양한 조직 형태를 탐색하는 것에 더해, 그 안을 서로 다른 관점과 성격, 전문성으로 채우는 것이 중요하다는 것이다. 지능이 규모만이 아니라 구별되는 목소리들의 구조화된 상호작용에서 나온다는 관점 전환을 논문은 제안한다.