Intern-S2-Mobius: 지식과 추론을 분리한 파운데이션 모델 아키텍처
목차
개요
Shanghai AI Laboratory의 Intern-S2-Mobius 팀이 2026년 8월 12일 기술 리포트를 공개했다. 리포트가 제안하는 Mobius-v0는 지식 저장 모듈과 추론 연산자의 결합을 끊어내는 아키텍처다. 전역 공유 Memory(FFN)가 지식 벡터를 저장하고, 다수의 Reasoner(Self-Attn)가 이 Memory를 반복적으로 질의하여 조합적 추론을 수행한다. 이때 hidden state가 캐시이자 정보 운반체 역할을 맡는다.
리포트가 제시한 두 가지 핵심 결과는 다음과 같다. 첫째, from-scratch로 학습한 7B 모델이 7B Transformer 베이스라인과 동등한 다운스트림 점수를 베이스라인 학습 데이터의 62.6%만으로 달성했다. 둘째, Qwen3.5-35B에서 continual pretraining으로 만든 Intern-S2-Mobius는 동등한 다운스트림 점수를 유지하면서 초록 기준 약 4배의 end-to-end 추론 속도 향상을 제공했다.
모델은 Hugging Face internlm/Intern-S2-Mobius에서 공개되었다.
기존 파운데이션 모델의 병목
스케일링과 선형 어텐션의 한계
리포트는 Transformer 이후의 발전 경로를 두 갈래로 정리한다. 첫 번째는 아키텍처를 그대로 두고 다른 비용을 늘려 성능을 높이는 방향이다. 파라미터 확장, 학습 코퍼스 확대, 추론 체인 연장이 여기에 해당한다. 두 번째는 아키텍처 복잡도를 낮춰 학습·추론 비용을 줄이는 방향이다. Self-Attention의 이차 복잡도가 초장문맥의 병목이라는 관점에서 SSM, GDN 같은 선형 어텐션 계열이 제안되었고 그 변형이 최신 아키텍처에 통합되었다.
리포트의 진단은 두 방향 모두 한계에 도달했다는 것이다. 데이터와 파라미터 스케일링은 높은 투자 수익을 내왔지만 Scaling Law가 점차 평탄해지며 한계 수익 체감 구간에 접근하고 있다. 긴 사고 사슬은 수학·코드·물리 영역에서 유효했지만, 문제 난이도와 무관하게 장황하고 곁가지가 많은 출력을 만드는 경향이 있다. 반대편의 어텐션 복잡도 감소는 일정한 효율 이득을 주지만, 모델 능력의 상당 부분을 희생한 대가로 얻은 효율 개선이라 상용 배포를 충분히 감당 가능하게 만들지는 못했다는 지적이다.
이 병목 앞에서 리포트가 택한 대안은 반대 방향이다. 아키텍처 복잡도를 오히려 높여 지능의 상한을 끌어올리고, 그 결과로 end-to-end 오버헤드를 줄인다. 공유 벡터 데이터베이스의 규모가 크기 때문에 매 추론의 활성화는 매우 희소해지고, 메모리 접근 압력이 커지며 단일 forward 효율은 낮아진다. 그럼에도 동일 파라미터 수의 Transformer 대비 추론 정확도를 유지하면서 약 4배의 end-to-end 추론 속도를 얻었다는 것이 리포트의 주장이다.
계층 구조와 단방향 잔차의 문제
Transformer 계열에서 각 모듈의 역할은 통상 다음과 같이 해석된다.
| 모듈 | 통상적 해석 |
|---|---|
| Feed-Forward Network | 지식 저장 |
| Hidden States | 정보 전달 |
| Self-Attention | 조합적 추론 |
계층 구조 때문에 각 레이어의 Self-Attention은 주로 직전 레이어에서 받은 지식 입력을 처리하고, 현재 레이어의 FFN이 다음 레이어에 필요한 출력을 내도록 유도한다. 잔차 연결이 레이어 간 연결을 유연하게 만들지만, 얕은 hidden state만 깊은 레이어의 지식에 접근할 수 있고 깊은 레이어의 Self-Attention은 얕은 레이어에서 유래한 지식만 처리할 수 있다. 반대 방향의 정보 전달은 구조적으로 불가능하다.
역방향 정보 전달을 만들기 위해 현재 모델들이 의존하는 수단이 사고 사슬이다. 매 forward pass 이후 새 토큰을 생성하고, 그 토큰이 다음 추론 단계에서 지식을 활성화한다. 반복적인 토큰 생성을 통해 FFN에서 가치 있는 지식을 계속 끌어내고, 그 지식이 결정적 토큰이나 최종 답을 만들기에 충분해질 때까지 이 과정이 이어진다. 리포트는 계층 구조, 순방향 잔차, 토큰 매개 사고 사슬만으로 모델을 구성하는 방식이 비효율적이라고 본다. 복잡한 질문에 답할 만큼의 지식을 확보하기 위해 과도한 연산이 길고 중복된 추론 사슬 생산에 소모되기 때문이다.
Mobius-v0 아키텍처
Backward Residual Connection
잔차 연결은 순전파 시 레이어 간 정보를 전달하고 역전파 시 그래디언트 크기를 안정화하는 역할을 맡는다. Hyper-Connection, Attention-Residual 등 다양한 변형이 등장했지만 주류 잔차는 모두 단방향성을 유지한다. 순전파에서 잔차는 얕은 레이어의 정보를 깊은 레이어로만 전달한다.
이 단방향성의 대가는 명확하다. 결정적 지식이 얕은 레이어 연산에서 활성화되지 못하면, 모델은 해당 추론 라운드에서 가치 있는 토큰을 디코딩하기 어려워진다. 그 결과 다음 추론 단계로 넘어가기 위해 정보량이 낮은 토큰을 사고 사슬로 생성하는 수밖에 없다.
해결책은 잔차를 양방향으로 만드는 것, 즉 깊은 레이어가 순전파 중에 얕은 레이어의 지식에 접근하도록 하는 것이다. 그러나 역방향 잔차를 직접 구현하면 계산 그래프가 복잡해지고 병렬화가 어려운 비동기성이 생겨 인프라 친화적이지 않다. Mobius는 간접적 실현을 택했다. 서로 다른 레이어가 하나의 초대형 지식 저장소를 공유하게 하여, 모든 레이어가 모델 내 모든 지식에 접근할 기회를 갖게 한다. 리포트는 이 형태의 역방향 잔차가 end-to-end 추론 효율 개선에 유의미하게 기여한다는 것을 실증 결과로 확인했다고 밝힌다.
Dynamic Latent Reasoning
Long CoT의 비용 구조는 두 방향에서 문제가 된다. 추론 사슬이 길어질수록 생성 토큰이 늘고, 생성 비용은 사슬 길이에 대해 비선형으로 증가한다. 또한 현재 모델들은 복잡한 문제에서 시행착오와 교정 방식을 자주 채택해 긴 추론 중 상당한 토큰 중복이 발생한다. 간단한 문제에도 과도하게 장황한 응답을 내놓는 경향 역시 존재한다. 리포트는 이 장황함의 원인을 앞서 논의한 잔차 구조와, 현재 추론의 최소 단위가 토큰이라는 사실에서 찾는다. 토큰은 이산적이고 정보 밀도가 낮은 저장 단위다.
Mobius는 숙고, 시행착오, 정제 같은 과정을 연속 벡터의 최적화로 내재화하고, 모델이 서로 다른 토큰에 계산 예산을 동적으로 배분하도록 한다. 리포트는 Mobius를 Looped Transformer와 Diffusion Language Model의 업그레이드된 종합으로 규정한다. 첫째, Mobius는 더 높은 루프 빈도로 동작하여 극히 적은 레이어만으로 한 번의 표현 반복을 완료한다. 둘째, 추론 시 더 압축적이고 정보 밀도가 높은 연속 벡터를 통해 여러 토큰의 결합 표현을 동시에 획득한다. 이는 다수 hidden state 병렬화 압력을 완화하고, 루프 과정에서의 KV-cache 관리 복잡도를 낮추며, 벡터 반복 과정의 연속 미분 가능성을 강화한다. 특정 반복 단계에서 고정된 수의 토큰을 디코딩하도록 모델을 제약하지 않는다는 점도 함께 언급된다.
이 두 특성이 결합된 결과가 리포트가 말하는 효율 이득의 원천이다. Transformer는 토큰을 정보 전달 매체로 삼기 때문에 단일 토큰의 추론을 완료하려면 모든 레이어를 통과해야 한다. Mobius는 전체 지식 저장소를 상대로 단 몇 개 레이어 안에서 latent를 반복·정제할 수 있다. 이 latent들은 특정 토큰에 강하게 결속되지 않으며, 깊은 레이어에 이르러서야 여러 토큰이 동기적으로 디코딩된다. 정보 전달 밀도가 높아지는 동시에 토큰별로 서로 다른 계산 비용이 동적으로 배분된다.
지식 벡터와 추론 연산자의 분리
Mobius는 지식 저장 모듈인 FFN을 레이어 단위 결속에서 분리하고 전역 공유 지식 벡터 데이터베이스를 구성하는 방식으로 위 두 특성을 동시에 얻는다. 모든 추론 연산자인 Self-Attention이 지식 전체에 대한 읽기 권한을 갖게 되고, 훨씬 적은 레이어 안에서 모든 지식에 접근할 기회를 얻는다. Self-Attention은 Hidden States를 통한 순환적 latent reasoning으로 적응적 다회 반복을 수행하고, 마지막에 정제된 고밀도 토큰을 한 번에 방출한다.
공유 지식 저장소 구성 방식은 단순한 수평 결합(horizontal concatenation)이다. FFN이 통상 Key-Value 지식 벡터 풀로 해석되기 때문에, 이 결합 방식이 지식 벡터 간 대응 관계를 보존한다는 것이 선택 이유다. 다만 단순 결합만으로도 성능 이득이 있지만 과도한 파라미터 활성화가 학습·추론 효율을 떨어뜨린다. 따라서 큰 파라미터 규모에서는 MoE와 유사한 블록 단위 분할 기법으로 FFN을 분할하고 순전파 시 희소 활성화를 적용한다.
구조 표기
리포트가 서술한 정보 흐름을 표기로 정리하면 다음과 같다. Transformer는 레이어 인덱스 l마다 자신의 FFN에만 접근한다.
1
2
3
4
# Transformer: 레이어별 지식 저장소 결속
h_l = h_{l-1} + SelfAttn_l(h_{l-1})
h_l = h_l + FFN_l(h_l)
# 접근 가능한 지식 = FFN_l 하나 (계층적 저장 + 순방향 잔차)
Mobius는 모든 Reasoner가 단일 전역 Memory를 참조한다.
1
2
3
4
5
6
# Mobius: 전역 공유 Memory + 다중 Reasoner
Memory = concat(FFN_1, FFN_2, ..., FFN_n) # 전역 공유 지식 벡터 DB
z_l = z_{l-1} + Reasoner_l(z_{l-1}) # Self-Attn, 조합적 추론
z_l = z_l + Memory(z_l) # 모든 레이어가 전체 지식에 접근
# 접근 가능한 지식 = Memory 전체 (backward residual connection)
대규모에서는 Memory를 블록 단위로 분할하고 희소 활성화한다.
1
2
3
4
# 대규모 스케일: MoE 유사 블록 분할 + 희소 활성화
Memory = { K_1, K_2, ..., K_n } # 전역 주소 공간
active = Router(z_l) # 일부 블록만 선택
z_l = z_l + sum( K_i(z_l) for i in active )
hidden state z는 토큰 하나에 고정 결속되지 않고, 캐시이자 운반체로서 Reasoner와 Memory 사이를 반복 왕복한다. 깊은 레이어에 도달했을 때 여러 토큰이 동시에 디코딩된다.
리포트는 RNN, Transformer, Mobius를 같은 설계 원리가 서로 다른 차원에 적용된 결과로 배치한다. RNN은 토큰 차원의 순환 전파이고, Transformer는 토큰 차원의 전역 매핑이다. Mobius는 지식 차원에서 전역 주소 공간과 희소 활성화를 적용한 형태로 제시된다.
학습 방법과 실험 셋업
리포트는 두 가지 학습 트랙으로 Mobius를 검증했다.
Training-from-Scratch
TFS 실험에서는 7B-A1B MoE 모델 두 개를 학습했다. 하나는 Mobius 아키텍처, 다른 하나는 Transformer 아키텍처이며 각각 1TB 토큰으로 학습했다. 비교 지표는 MMLU 점수다.
Continual Pretraining
CPT 실험에서는 Qwen3.5-35B-A3B를 시작 체크포인트로 삼았다. 1TB 토큰으로 continual pretraining을 이어간 뒤 supervised fine-tuning과 reinforcement learning을 순차 수행했다. 리포트는 처음부터 사전학습하는 비용이 지나치게 크기 때문에, 대규모에서의 능력 검증을 위해 기존 오픈소스 베이스 모델에서 학습을 이어가는 방식을 택했다고 밝힌다.
| 트랙 | 모델 규모 | 학습 데이터 | 후속 단계 |
|---|---|---|---|
| Training-from-Scratch | 7B-A1B MoE (Mobius, Transformer 각 1개) | 1TB 토큰 | 없음 (MMLU 비교) |
| Continual Pretraining | Qwen3.5-35B-A3B 기반 | 1TB 토큰 | SFT, RL |
주요 결과
데이터 효율
TFS 실험에서 Mobius는 학습 전 구간에 걸쳐 Transformer보다 유의미하게 높은 MMLU 점수를 기록했다. 1TB 토큰 시점의 Transformer 점수를 기준선으로 삼았을 때, Mobius는 그 점수를 0.626배 데이터만으로 달성했다. 즉 Transformer 대비 1.6배의 데이터 효율을 보인다.
리포트는 이 데이터 효율의 메커니즘이 아직 충분히 규명되지 않았다고 명시한다. 제시된 가설은 Transformer 아키텍처에서 레이어 간 파라미터가 상당한 중복을 보인다는 것이다. 같은 지식이 여러 레이어에 중복 저장될 수 있다는 뜻이다. 지식과 추론이 분리된 Mobius로 전환하면 더 나은 압축률을 얻고, 그 결과 훨씬 적은 학습 데이터로 충분한 지식을 획득할 수 있다는 설명이다.
벤치마크 성능
Qwen3.5에서 출발해 Mobius 아키텍처로 전환하고 continual pretraining을 이어간 결과, 전반적 능력이 보존되는 데 그치지 않고 오히려 향상되었다.
일반 태스크 벤치마크 결과는 다음과 같다.
| Benchmark | Intern-S2-Mobius-35B | Qwen3.5-35B |
|---|---|---|
| MMLU Pro | 89.05 | 85.31 |
| GPQA Diamond | 80.81 | 80.24 |
| IMO Bench | 81.25 | 77.50 |
| AIME 2026 | 95.31 | 92.08 |
| HMMT 2026 | 85.51 | 78.50 |
| UGD hard | 73.02 | 78.02 |
| AMO | 58.00 | 50.00 |
| SimpleQA | 28.90 | 21.39 |
| HLE | 19.11 | 22.40 |
| AVG Score | 67.88 | 65.05 |
9개 일반 벤치마크 중 7개에서 Intern-S2-Mobius-35B가 앞섰고, UGD hard와 HLE 두 항목에서는 Qwen3.5-35B가 높았다. 평균 점수는 67.88 대 65.05로 약 2.83점 차이다.
과학 태스크에서의 격차는 훨씬 크다.
| Benchmark | Intern-S2-Mobius-35B | Qwen3.5-35B |
|---|---|---|
| Biology-Instructions | 51.40 | 3.77 |
| Mol-Instructions | 45.73 | 21.70 |
| MolecularIQ | 59.29 | 29.13 |
| AVG Score | 52.14 | 18.20 |
과학 태스크 평균은 52.14 대 18.20으로 약 2.9배 차이가 난다.
추론 처리량과 출력 길이
리포트는 배치 크기 24부터 28까지 범위에서 요청 처리량(req/s)을 측정했다. 여러 평가 벤치마크에 걸쳐 집계했을 때 Mobius는 Transformer보다 실질적으로 높은 요청 처리량을 달성했다. 평균 기준 약 2.9배 빠른 처리량이 보고되었고, 특정 벤치마크에서는 4.6배까지 관측되었다. 초록에서 제시한 수치는 동일 파라미터 조건에서 거의 4배에 이르는 end-to-end 추론 속도 향상이다.
효율 개선의 주된 출처는 짧아진 CoT 길이다. 평균 출력 길이는 약 1.5배 짧아졌고, 벤치마크에 따라 1.2배에서 5.0배까지 단축 폭이 나타났다. 동일한 문제를 제시했을 때 Mobius는 현저히 짧은 추론 사슬로 문제를 해결한 반면, Transformer는 숙고를 위해 더 긴 CoT를 필요로 했다.
| 측정 항목 | 결과 |
|---|---|
| 데이터 효율 (TFS, MMLU 기준) | Transformer 대비 1.6배, 동일 점수를 0.626배 데이터로 달성 |
| 요청 처리량 (평균) | 약 2.9배 |
| 요청 처리량 (최대 관측) | 약 4.6배 |
| 초록 기준 end-to-end 속도 | 거의 4배 |
| 평균 출력 길이 | 약 1.5배 단축 |
| 출력 길이 단축 폭 범위 | 약 1.2배에서 5.0배 |
짧아진 CoT의 정확한 메커니즘 역시 완전히 확립되지 않았다고 리포트는 밝힌다. 제시된 가설은 Mobius의 네이티브 latent reasoning 특성이 숙고 과정을 모델 내부로 내재화하고, 연속 미분 가능한 최적화를 통해 더 효율적인 추론을 달성한다는 것이다.
추론 트레이스 사례 분석
짧은 CoT가 문제를 우회한 결과인지 실제로 더 효율적인 추론 방식인지를 판별하기 위해, 리포트는 다수 사례를 비교했다. 결론은 후자라는 것이다.
첫 번째 사례는 MMLU-Pro Mathematics에서 가져온 선형대수 문제로, 두 개의 기초 진술의 참·거짓을 판정한다. 첫 진술은 R2의 두 벡터가 반드시 선형 독립일 필요는 없으므로 거짓이다. 두 번째 진술은 공간을 생성하는 선형 독립 집합이 그 공간의 기저이므로 참이며, 따라서 벡터 개수가 차원과 같다. 정답은 거짓·참 조합인 Option C이고 두 모델 모두 정답을 선택했다. 토큰 수는 Qwen3.5-35B 토크나이저 기준으로 계산되었다.
| 정렬된 단계 | Intern-S2-Mobius-35B | Qwen3.5-35B |
|---|---|---|
| Task framing | 17 토큰 | 20 토큰 |
| Statement 1 | 178 토큰 | 283 토큰 |
| Statement 2 | 142 토큰 | 197 토큰 |
| Option matching | 22 토큰 | 122 토큰 |
| 반복 유도 및 재확인 | 없음 | 1,147 토큰 |
| 최종 답변 | 157 토큰 | 595 토큰 |
| Total | 516 토큰 | 2,364 토큰 |
전체 토큰 수는 516 대 2,364로 약 4.6배 차이다. 차이의 대부분은 반복 유도 및 재확인 단계에서 발생한다. Qwen3.5-35B가 이 단계에 1,147 토큰을 소모하는 반면 Mobius는 해당 단계 자체가 없다. 리포트는 Mobius의 토큰 절감이 주로 반복 유도와 재확인의 제거에서 온다고 설명한다.
부록에는 광합성 관련 생물학 선택형 문제 사례가 추가로 실려 있다. 두 모델 모두 정답인 Option D를 선택했으며, 총 토큰 수는 472 대 1,649였다. 여기서도 반복 유도와 반복 선택지 재확인 단계가 Transformer 측에만 존재한다.
부록 분석
부록 B는 두 학습 방식의 전문가 활성화 패턴을 비교한다. from-scratch로 학습한 Mobius-7B는 추론 레이어 전반에 걸쳐 비교적 균일한 활성화 분포를 보인다. Qwen3.5-35B에서 continual pretraining한 Intern-S2-Mobius-35B는 더 넓은 범위의 전문가를 활성화하지만 뚜렷한 블록 대각 패턴을 유지한다. 이는 전문가 라우팅이 원본 체크포인트의 레이어별 조직 구조에 여전히 영향을 받는다는 뜻이다. continual pretraining이 전문가 활용 범위를 넓힐 수는 있지만, 아키텍처 변환으로 유도된 라우팅 사전 구조를 완전히 제거하지는 못한다는 관찰이다. from-scratch 학습이 공유 전문가 풀에 더 유연하게 접근하게 할 수 있으나, 이것이 실제 모델 능력 향상으로 이어지는지는 동등 규모에서의 통제된 평가가 필요하다고 명시한다.
부록 C는 Physics of LLM에서 선택한 조합적 일반화(Compositional Generalization) 태스크를 다룬다. 학습 세트는 500개 엔티티의 single-hop 지식과 400개 엔티티의 two-hop 지식이고, 테스트 세트는 나머지 100개 엔티티의 two-hop 지식이다. 이 구성은 모델이 단순 암기가 아니라 지식 조각들 사이의 연결을 실제로 학습하는지를 검증한다. 이 태스크에서 Mobius는 Transformer보다 훨씬 나은 수렴 효율과 최종 점수를 기록했다. 다만 이 비교에 사용된 것은 아직 공개되지 않은 최신 Mobius 아키텍처다.
부록 E는 layerwise prediction lens로 latent 계산 중 토큰 예측이 어떻게 변화하는지 분석한다. 동일한 teacher-forced 문맥에서 각 레이어의 hidden state를 표준 다음 토큰 예측 위치와 이어지는 4개의 MTP 위치에 대해 디코딩했다. Mobius는 중간 레이어에서 베이스라인보다 해석 가능하고 정답에 정렬된 예측을 보였다. 레이어별 예측이 더 일관된 의미 궤적을 따르며, 이는 태스크 관련 정보가 경쟁하는 토큰 후보들에 분산되지 않고 압축적 내부 표현으로 집중된다는 것을 시사한다. 결과적으로 Mobius는 5토큰 드래프트가 전부 수용되었고, 베이스라인은 세 번째 예측 위치에서 거부되어 2토큰 접두부만 수용되었다.
기존 연구와의 관계
리포트는 Mobius를 세 갈래 연구 흐름 위에 위치시킨다.
Latent Reasoning 계열에서는 continuous thought, looped computation, parallel refinement 세 방향이 정리된다. COCONUT은 최종 hidden state를 다음 입력 임베딩으로 직접 되먹여 각 상태를 언어로 디코딩하지 않고 중간 계산을 진행한다. CODI는 self-distillation으로 명시적 CoT 지도를 연속 상태로 압축하고, SoftCoT는 경량 보조 모델로 인스턴스별 soft thought를 생성해 대상 모델의 표현 공간에 투영한다. Mobius는 이 패턴을 네이티브 아키텍처 능력으로 만든다. 순환 상태가 공유 Memory를 상대로 정제되고 여러 미래 토큰을 동시에 지원한다.
Looped Language Model 계열에서 Universal Transformer는 파라미터 공유를 통한 깊이 방향 순환 정제를 도입했고, 이후 연구가 Looped Transformer의 계산 표현력을 정립했다. Mobius도 latent 순환으로 계산을 확장하지만, 각 갱신을 소수 레이어만으로 수행하면서 전체 공유 Memory에 대한 접근을 유지한다.
Speculative Decoding과의 대비도 명시된다. Speculative Decoding은 draft 모델을 쓰든 다른 전략을 쓰든 토큰 예측 전에 지식을 한 번만 순회한다. Mobius는 내부적으로 다회의 지식 순회와 다중 토큰 반복을 수행해 최종 디코딩 전에 정보 밀도가 높은 hidden state를 만들며, multi-token prediction을 네이티브로 지원한다.
Concise CoT 계열과의 차이는 접근 방식에 있다. 기존 길이 정규화는 숙고 자체를 잘라내 CoT를 짧게 만들 수 있고, 이는 정확도와 견고성을 해칠 수 있다. Mobius는 여러 라운드의 latent 사고 반복을 통해 훨씬 정제되고 짧은 응답을 산출한다.
아키텍처 설계 측면에서 리포트는 어텐션 복잡도를 직접 낮추는 대신 어텐션 연산 한 번당 추출되는 정보 밀도와 가치를 높이는 것을 목표로 삼는다고 밝힌다. 잔차 연결 측면에서는 잔차 경로를 명시적으로 확장하는 대신 순방향 정보 전파에서 양방향 지식 접근으로 설계를 확장한다.
향후 과제로 제시된 영역
리포트는 네 가지 주제에서 Mobius의 잠재력과 미해결 과제를 함께 제시한다.
Self-Evolving
현재 Transformer 아키텍처는 자기 진화의 전제 조건을 만족하지 못한다는 것이 리포트의 입장이다. 지식과 추론이 강하게 결합되어 있어 새 기술 습득이 end-to-end 학습을 통해서만 가능하고, 이는 지식과 추론 능력을 동시에 변화시켜 기존 기술의 파국적 망각을 유발한다. 자기 진화에 적합한 아키텍처는 일정 수준의 지식-추론 분리를 갖춰야 지식 저장을 무한히 효율적으로 확장하고 추론 능력을 여러 도메인에 일반화할 수 있다. Mobius는 예비적 수준의 분리 특성을 갖추고 있으나, 실제 자기 진화 시나리오에서의 성능은 파운데이션 모델·에이전트 시스템·환경 피드백의 공동 설계를 요구하며 향후 검증이 필요하다.
World Model
Transformer 기반 모델은 언어 같은 이산 모달리티를 테라바이트 파라미터 규모에서 모델링할 수 있음이 입증되었다. 그러나 연속 공간의 완전한 모델링에는 페타바이트 단위 파라미터 규모가 필요할 것으로 리포트는 추정한다. 테라바이트 규모 언어 모델의 추론 비용만으로도 현행 하드웨어가 한계에 도달한 상황에서, 페타바이트 규모 월드 모델의 추론 비용은 천문학적이 된다. Mobius의 네이티브 latent reasoning은 연속 공간 모델링에 더 강한 사전 구조를 제공한다. 다만 리포트는 이 사전 구조만으로는 크게 부족할 수 있으며, 어텐션 메커니즘을 어떻게 재설계할지가 더 결정적일 수 있다고 덧붙인다.
Scientific Discovery
현재의 Transformer와 긴 사고 사슬 조합은 과학적 발견의 전제 조건을 만족하지 못한다는 입장이다. 현 패러다임에서 모델은 절차적 문제 해결에 뛰어나지만, 과학적 발견은 절차적 역량에 더해 과학적 직관과 지식의 조합·일반화를 요구한다. Mobius는 두 방향에서 접근한다. 숙고를 연속 미분 가능한 latent 공간에 내재화해 더 강한 직관을 개발할 기회를 제공하고, 모델 내 모든 지식을 평탄화해 더 많은 지식이 동시에 상호작용하도록 만들어 지식 도메인 간 조합적 일반화 가능성을 크게 높인다.
Hardware-Software Co-Design
Transformer는 지식과 추론을 같은 파라미터 집합에 혼재시키기 때문에 배포 시 거의 모든 파라미터를 GPU 메모리에 올려야 한다. Mobius의 지식-추론 분리는 추론 전용 파라미터만 GPU 메모리에 안정적으로 상주시키고, 지식 파라미터는 주로 SSD에 저장한 뒤 우선순위가 높은 지식만 온디맨드로 메모리에 적재하는 구성을 가능하게 한다. 장기적으로 Mobius가 Transformer보다 하드웨어-소프트웨어 공동 설계에 더 적합하다는 것이 리포트의 관점이지만, 이 비전 실현까지는 상당한 작업이 남아 있다고 명시한다.
한계와 주의사항
리포트가 스스로 밝힌 한계와 읽을 때 유의할 지점은 다음과 같다.
| 항목 | 내용 |
|---|---|
| 활성화 희소성 비용 | 공유 벡터 DB 규모가 커서 매 추론 활성화가 매우 희소해지고, 메모리 접근 압력 증가와 단일 forward 효율 저하를 유발 |
| 데이터 효율 메커니즘 | 메커니즘이 완전히 규명되지 않았으며 레이어 간 파라미터 중복 감소는 가설 단계 |
| 짧은 CoT 메커니즘 | 정확한 원인이 확립되지 않았고 네이티브 latent reasoning 특성이라는 가설이 제시된 상태 |
| 라우팅 사전 구조 잔존 | CPT 모델은 원본 체크포인트의 블록 대각 라우팅 구조를 유지하며, from-scratch 학습의 우위는 동등 규모 통제 평가가 필요 |
| 조합적 일반화 실험 | 부록 C의 비교 대상은 아직 공개되지 않은 차기 Mobius 아키텍처 |
| 벤치마크 열세 항목 | UGD hard와 HLE에서는 Qwen3.5-35B가 더 높은 점수 |
| 자기 진화 검증 | 파운데이션 모델, 에이전트 시스템, 환경 피드백의 공동 설계가 필요하며 미검증 |
| 월드 모델 적용 | latent reasoning 사전 구조만으로는 부족할 수 있고 어텐션 재설계가 더 중요할 수 있음 |
| 과학적 발견 적용 | 데이터·인프라·학습 알고리즘·최적화 알고리즘의 공동 최적화가 필요하며 미검증 |
| 하드웨어 공동 설계 | SSD 기반 지식 저장 구상은 아직 상당한 작업이 남은 단계 |
추가로 CPT 실험은 Qwen3.5-35B-A3B라는 단일 시작 체크포인트에 의존하므로, 결과의 일부는 원본 모델 특성에 좌우될 수 있다. 추론 처리량 측정은 배치 크기 24에서 28 구간에서 이루어졌으며, 이 범위 밖의 서빙 조건은 리포트에서 다루지 않는다.
결론
Intern-S2-Mobius는 Transformer의 레이어별 FFN 결속을 끊고 전역 공유 지식 벡터 데이터베이스를 도입한 아키텍처 실험이다. 이 구조 변경은 두 가지 파생 특성을 만든다. 모든 레이어가 전체 지식에 접근하는 Backward Residual Connection과, 소수 레이어 안에서 latent를 반복 정제하고 여러 토큰을 동시에 디코딩하는 Dynamic Latent Reasoning이다.
정량적으로는 from-scratch 7B 실험에서 Transformer 대비 1.6배 데이터 효율, 즉 동일 MMLU 점수를 0.626배 데이터로 달성했다. Qwen3.5-35B 기반 CPT 모델은 일반 태스크 평균 67.88 대 65.05, 과학 태스크 평균 52.14 대 18.20을 기록하면서 평균 약 2.9배, 최대 4.6배의 요청 처리량 개선을 보였다. 효율 개선의 주된 원천은 반복 유도와 재확인 단계의 제거로 인한 CoT 단축이며, 사례 분석에서 516 토큰 대 2,364 토큰의 차이로 확인된다.
동시에 리포트는 데이터 효율과 CoT 단축의 메커니즘이 모두 가설 단계임을 명시하고, 자기 진화·월드 모델·과학적 발견·하드웨어 공동 설계 영역은 모두 향후 검증 대상으로 남겨두었다. 아키텍처 복잡도를 낮춰 효율을 얻는 기존 방향과 정반대로, 복잡도를 높여 지능의 상한을 올리고 그 결과로 end-to-end 비용을 줄인다는 접근이 이 리포트의 핵심 주장이다.