Hierarchical Reasoning Model

게시 2026/09/02 업데이트 2026/09/06

By Juho

49 분읽는 시간

개요

Hierarchical Reasoning Model(HRM)은 Sapient Intelligence와 Tsinghua University 연구진이 제안한 순환(recurrent) 추론 아키텍처다. 저자들은 현재 LLM이 사용하는 Chain-of-Thought(CoT) 방식이 취약한 과제 분해, 과도한 데이터 요구량, 높은 지연 시간이라는 세 가지 문제를 안고 있다고 지적한다. 그 대안으로 인간 두뇌의 계층적·다중 시간척도 처리 방식에서 영감을 받은 구조를 제시한다.

HRM은 서로 의존하는 두 개의 순환 모듈로 구성된다. 느리고 추상적인 계획을 담당하는 고수준(H) 모듈과, 빠르고 세부적인 계산을 담당하는 저수준(L) 모듈이다. 중간 과정에 대한 명시적 감독 없이 단일 forward pass 안에서 순차 추론을 수행한다.

핵심 수치는 다음과 같다. 파라미터 27M, 학습 샘플 약 1,000개, 사전학습 없음, CoT 데이터 없음. 이 조건에서 ARC-AGI-1에서 40.3%를 기록했고, 이는 o3-mini-high(34.5%)와 Claude 3.7 8K context(21.2%)를 상회하는 수치다. Sudoku-Extreme과 Maze-Hard에서는 비교 대상 CoT 모델들이 모두 0.0%를 기록한 반면 HRM은 각각 55.0%, 74.5%를 달성했다.

배경과 문제 의식

딥러닝은 층을 더 쌓아 표현력을 높인다는 아이디어에서 출발했지만, 대규모 언어 모델의 핵심 아키텍처는 역설적으로 얕다는 것이 저자들의 출발점이다. 고정 깊이의 표준 Transformer는 AC0 또는 TC0 같은 계산 복잡도 클래스에 속하며, 다항 시간이 필요한 문제를 풀 수 없다. LLM은 Turing-complete하지 않기 때문에, 순수하게 end-to-end 방식으로는 계획 수립이나 기호 조작에 필요한 복잡한 알고리즘적 추론을 실행할 수 없다.

CoT는 이 한계에 대한 보완책이지만 해결책은 아니라는 것이 논문의 입장이다. CoT는 인간이 정의한 취약한 분해에 의존하며, 한 단계만 잘못되거나 순서가 어긋나도 추론 전체가 무너진다. 또한 명시적 언어 단계에 추론을 묶어 두기 때문에 토큰 수준 패턴에 종속되고, 복잡한 과제에서는 대량의 학습 데이터와 다수의 토큰 생성이 필요해 응답이 느려진다.

대안으로 제시되는 것이 잠재 추론(latent reasoning)이다. 모델이 내부 은닉 상태 공간에서 계산을 수행하는 방식으로, 언어는 사고의 기질이 아니라 인간의 소통 도구라는 관점과 맞닿아 있다. 다만 잠재 추론의 힘은 모델의 유효 계산 깊이에 의해 제약된다. 층을 단순히 쌓으면 gradient vanishing 때문에 학습이 불안정해지고, 순환 구조는 조기 수렴으로 이후 계산 단계가 무의미해지며 BPTT(Backpropagation Through Time)라는 비용이 큰 학습 방식에 의존한다.

두뇌는 서로 다른 시간척도로 작동하는 피질 영역 위계를 통해 이 깊이를 확보한다. 순환 피드백 루프가 내부 표현을 반복적으로 정제하며, 느린 상위 영역이 안내하고 빠른 하위 회로가 실행한다. 그러면서도 BPTT가 초래하는 신용 할당 비용을 치르지 않는다. HRM은 이 구조를 계산 모델로 옮긴 것이다.

방법론

HRM은 두뇌에서 관찰되는 세 가지 계산 원리를 기반으로 설계됐다.

원리	내용
계층적 처리	상위 영역은 긴 시간척도로 정보를 통합해 추상 표현을 형성하고, 하위 영역은 즉각적이고 세부적인 처리를 담당한다
시간적 분리	위계 수준마다 고유한 시간척도로 작동한다. 느린 theta파는 4에서 8Hz, 빠른 gamma파는 30에서 100Hz 대역이다
순환 연결성	광범위한 순환 연결과 피드백 루프가 반복적 정제를 가능하게 하며, BPTT식 심층 신용 할당 문제를 회피한다

계층적 순환 구조

모델은 네 개의 학습 가능한 구성 요소로 이루어진다. 입력 네트워크 f_I, 저수준 순환 모듈 f_L, 고수준 순환 모듈 f_H, 출력 네트워크 f_O다.

동역학은 N개의 고수준 사이클과 각 사이클당 T개의 저수준 타임스텝으로 전개된다. 한 번의 forward pass 전체 타임스텝은 i = 1, ..., N*T로 인덱싱된다. 두 모듈은 각각 은닉 상태 z_L^i와 z_H^i를 유지하며, 초기값 z_L^0, z_H^0에서 시작한다.

입력 x는 먼저 작업 표현으로 투영된다.

x~ = f_I(x; theta_I)

각 타임스텝에서 L-모듈은 자신의 이전 상태, H-모듈의 현재 상태, 입력 표현을 조건으로 상태를 갱신한다. H-모듈의 상태는 사이클 내내 고정된다. H-모듈은 사이클당 한 번, 즉 T 스텝마다 L-모듈의 최종 상태를 사용해 갱신된다.

z_L^i = f_L(z_L^(i-1), z_H^(i-1), x~; theta_L)

z_H^i = f_H(z_H^(i-1), z_L^(i-1); theta_H)   if i = 0 (mod T)
      = z_H^(i-1)                            otherwise

N개 사이클이 모두 끝나면 H-모듈의 은닉 상태에서 예측이 추출된다.

y_hat = f_O(z_H^(NT); theta_O)

이 N*T 타임스텝 전체가 HRM의 단일 forward pass에 해당한다. 이후 halting 메커니즘이 종료 여부를 결정한다.

계층적 수렴

표준 RNN은 은닉 상태가 고정점에 가까워지면서 갱신 크기가 줄어들고 이후 계산이 사실상 멈춘다. 유효 깊이가 여기서 제한된다. 계산 능력을 유지하려면 수렴이 매우 느리게 진행되어야 하지만, 그 속도를 조절하는 것은 어렵고 지나치게 밀어붙이면 불안정해진다.

HRM은 계층적 수렴(hierarchical convergence)으로 이 문제를 다룬다. 각 사이클에서 L-모듈은 지역 평형으로 안정적으로 수렴한다. 그런데 이 평형은 해당 사이클에 공급된 고수준 상태 z_H에 의존한다. T 스텝이 끝나면 H-모듈이 하위 계산의 결과인 z_L 최종 상태를 받아 자신을 갱신한다. 이 갱신은 L-모듈에 새로운 맥락을 부여해 계산 경로를 재시작시키고, 다른 지역 평형을 향한 새 수렴 국면을 연다.

결과적으로 HRM은 서로 구별되는 안정적 중첩 계산의 연쇄를 수행한다. H-모듈이 전체 문제 해결 전략을 지시하고, L-모듈이 각 단계에 필요한 집중적 탐색이나 정제를 실행한다. 표준 RNN이 T번의 반복 안에서 수렴에 도달하는 반면, 계층적 수렴은 N*T 스텝의 유효 깊이를 확보한다.

논문의 forward residual 측정에서 HRM의 H-모듈은 꾸준히 수렴하고 L-모듈은 사이클 내에서 반복적으로 수렴한 뒤 H에 의해 리셋되면서 residual 스파이크를 만든다. 표준 RNN은 residual이 빠르게 0으로 수렴하고, 심층 신경망은 입력층과 출력층에만 유의미한 residual이 남는 gradient vanishing 양상을 보인다.

1-step gradient 근사

순환 모델은 보통 BPTT로 gradient를 계산한다. BPTT는 forward pass의 은닉 상태를 모두 저장했다가 backward에서 결합해야 하므로 T 타임스텝에 대해 O(T) 메모리를 요구한다. 이 부담은 배치 크기를 줄이고 GPU 활용률을 떨어뜨린다. 또한 시간에 걸친 전체 이력을 유지하는 것은 생물학적으로 타당하지 않다.

순환 신경망이 고정점으로 수렴한다면, 상태 시퀀스를 펼치지 않고 그 평형점에서 한 번의 backpropagation을 적용할 수 있다. 저자들은 이에 기반해 각 모듈의 마지막 상태의 gradient만 사용하고 나머지 상태는 상수로 취급하는 1-step 근사를 제안한다. gradient 경로는 다음과 같다.

출력 헤드 -> H-모듈의 최종 상태 -> L-모듈의 최종 상태 -> 입력 임베딩

이 방식은 O(1) 메모리만 필요하고 시간에 대한 unrolling이 없으며 PyTorch 같은 autograd 프레임워크로 간단히 구현된다.

이론적 근거는 Deep Equilibrium Models(DEQ)의 수학, 구체적으로는 음함수 정리(Implicit Function Theorem)다. 고수준 사이클 k에서 L-모듈이 지역 고정점 z_L*로 수렴하는 이상적 거동을 가정한다.

z_L* = f_L(z_L*, z_H^(k-1), x~; theta_L)
z_H^k = f_H(z_H^(k-1), z_L*; theta_H)

적절한 사상 F로 고수준 상태 갱신을 z_H^k = F(z_H^(k-1); x~, theta)로 쓸 수 있고, 고정점은 z_H* = F(z_H*; x~, theta)가 된다. J_F를 F의 Jacobian이라 하고 I - J_F가 z_H*에서 가역이며 F가 연속 미분 가능하다고 가정하면, 음함수 정리로 명시적 역전파 없이 정확한 gradient를 얻는다.

d z_H* / d theta = (I - J_F)^(-1) * (dF / d theta)     ... (1)

하지만 (I - J_F)를 계산하고 역행렬을 구하는 비용이 크다. Neumann 급수 전개를 적용하면 다음과 같다.

(I - J_F)^(-1) = I + J_F + J_F^2 + J_F^3 + ...

1-step gradient는 이 급수를 첫 항만으로 근사한다. 즉 (I - J_F)^(-1)을 항등행렬 I로 두는 것이다. 그 결과 식 (1)은 다음과 같이 근사된다.

d z_H* / d theta_H ~= d f_H / d theta_H
d z_H* / d theta_L ~= (d f_H / d z_L) * (d z_L* / d theta_L)     ... (2)
d z_H* / d theta_I ~= (d f_H / d z_L) * (d z_L* / d theta_I)

저수준 고정점의 gradient에도 같은 1-step 근사를 한 번 더 적용한다.

d z_L* / d theta_L ~= d f_L / d theta_L
d z_L* / d theta_I ~= d f_L / d theta_I     ... (3)

식 (3)을 식 (2)에 대입하면 최종적으로 단순화된 gradient를 얻는다.

PyTorch 의사코드는 다음과 같다.

  
def hrm(z, x, N=2, T=2):
    x = input_embedding(x)
    zH, zL = z

    with torch.no_grad():
        for _i in range(N * T - 1):
            zL = L_net(zL, zH, x)
            if (_i + 1) % T == 0:
                zH = H_net(zH, zL)

    # 1-step grad
    zL = L_net(zL, zH, x)
    zH = H_net(zH, zL)
    return (zH, zL), output_head(zH)


# Deep Supervision
for x, y_true in train_dataloader:
    z = z_init
    for step in range(N_supervision):
        z, y_hat = hrm(z, x)
        loss = softmax_cross_entropy(y_hat, y_true)
        z = z.detach()
        loss.backward()
        opt.step()
        opt.zero_grad()

Deep Supervision

두뇌에서 주기적 신경 진동이 학습 시점을 조절한다는 원리에서 착안한 메커니즘이다.

데이터 샘플 (x, y)에 대해 HRM의 forward pass를 여러 번 실행하며, 각각을 세그먼트(segment)라 부른다. 종료 전까지 실행된 총 세그먼트 수를 M이라 하고, 세그먼트 m 종료 시점의 은닉 상태를 z^m = (z_H^(mNT), z_L^(mNT))로 둔다.

각 세그먼트에서 다음 세 단계가 수행된다.

(z^m, y_hat^m) <- HRM(z^(m-1), x; theta)
L^m <- LOSS(y_hat^m, y)
theta <- OPTIMIZER_STEP(theta, L^m)

이 절차의 핵심은 은닉 상태 z^m이 다음 세그먼트의 입력 상태로 쓰이기 전에 계산 그래프에서 detach된다는 점이다. 따라서 세그먼트 m+1의 gradient가 세그먼트 m으로 역전파되지 않으며, 재귀적 deep supervision 과정에 대한 1-step gradient 근사가 성립한다. 이 방식은 H-모듈에 더 빈번한 피드백을 제공하고 정규화 역할을 하며, Jacobian 기반의 복잡한 정규화 기법보다 안정성과 성능 면에서 우수했다는 것이 저자들의 관찰이다.

Adaptive Computational Time

두뇌는 자동적 사고(System 1)와 숙고적 추론(System 2)을 과제 복잡도에 따라 전환한다. HRM은 이를 모사해 적응적 halting 전략을 도입했고, deep supervision 위에서 Q-learning으로 세그먼트 수를 결정한다.

Q-head는 H-모듈의 최종 상태로부터 halt와 continue 두 행동의 Q값을 예측한다.

Q_hat^m = (Q_hat^m_halt, Q_hat^m_continue) = sigmoid(theta_Q * z_H^(mNT))

M_max는 최대 세그먼트 수로 고정 하이퍼파라미터이고, M_min은 확률 변수다. M_min은 확률 epsilon으로 집합 {2, …, M_max}에서 균등하게 샘플링되어 더 긴 사고를 유도하고, 확률 1 - epsilon으로는 1이 된다. halt 행동은 두 조건 중 하나에서 선택된다. 세그먼트 수가 M_max를 넘어서거나, Q_halt가 Q_continue를 초과하면서 세그먼트 수가 M_min 이상에 도달한 경우다.

Q-head는 에피소딕 MDP 위의 Q-learning으로 갱신된다. 세그먼트 m에서의 상태는 z^m이고 행동 공간은 {halt, continue}다. halt를 선택하면 에피소드가 종료되며 예측 정확성을 나타내는 이진 보상 1{y_hat^m = y}를 반환한다. continue는 보상 0을 주고 상태가 z^(m+1)로 전이된다.

G_hat^m_halt = 1{y_hat^m = y}

G_hat^m_continue = Q_hat^(m+1)_halt                                   if m >= N_max
                 = max(Q_hat^(m+1)_halt, Q_hat^(m+1)_continue)        otherwise

각 supervision 세그먼트의 전체 손실은 Q-head 손실과 sequence-to-sequence 손실의 합이다.

L^m_ACT = LOSS(y_hat^m, y) + BINARY_CROSS_ENTROPY(Q_hat^m, G_hat^m)

실제 구현에서는 배치 단위로 시퀀스를 처리하며, halt된 샘플은 데이터로더에서 가져온 새 샘플로 대체된다.

ACT의 Q-learning은 replay buffer나 target network 없이도 안정적이라는 것이 저자들의 주장이다. Gallici 등의 이론적 결과에 따르면 네트워크 파라미터가 유계이고 weight decay가 적용되며 post-normalization 층이 있으면 Q-learning이 수렴할 수 있다. HRM은 RMSNorm을 쓰는 Post-Norm 아키텍처와 AdamW 옵티마이저로 이 조건들을 만족한다. AdamW는 L-infinity 제약 최적화 문제를 푸는 것으로 알려져 있어 파라미터가 유계로 유지된다.

아키텍처 세부 사항

HRM은 sequence-to-sequence 아키텍처를 채택한다. 입력과 출력 모두 토큰 시퀀스로 표현된다. 임베딩 층 f_I가 이산 토큰을 벡터로 변환하고, 출력 헤드는 f_O(z; theta_O) = softmax(theta_O * z) 형태로 은닉 상태를 토큰 확률 분포로 바꾼다.

소규모 샘플 실험에서는 일반화 성능 개선을 위해 softmax 대신 stablemax를 사용한다. sequence-to-sequence 손실은 전체 토큰에 대해 평균된 교차 엔트로피다.

LOSS(y_hat, y) = -(1/l) * sum_{i=1..l} log p(y_i)

초기 은닉 상태 z_0는 표준편차 1, truncation 2의 절단 정규분포에서 샘플링되며 학습 내내 고정된다.

항목	설정
L-모듈, H-모듈 구현	encoder-only Transformer 블록, 동일 아키텍처와 동일 차원
다중 입력 결합	원소별 덧셈(gating 등 정교한 결합은 향후 과제로 남김)
위치 인코딩	Rotary Positional Encoding
FFN	Gated Linear Units
정규화	RMSNorm, Post-Norm 구조, scale과 bias 파라미터 제외
선형층 bias	제거
초기화	truncated LeCun Normal
옵티마이저	Adam-atan2, 상수 학습률에 linear warm-up 결합

실험 셋업

모든 벤치마크에서 HRM은 무작위 가중치로 초기화되어 입출력 쌍만으로 sequence-to-sequence 방식으로 학습됐다. 2차원 입력·출력 그리드는 평탄화 후 최대 시퀀스 길이로 패딩됐다. 과제당 학습 예제는 약 1,000개이며 사전학습과 CoT 레이블은 사용되지 않았다.

ARC-AGI

ARC-AGI는 IQ 테스트 형태의 퍼즐로 귀납 추론 능력을 평가한다. 각 과제는 보통 2~3개의 입출력 시연 쌍과 하나의 테스트 입력을 제공하며, 모델은 정답 그리드를 두 번까지 시도할 수 있다. ARC-AGI-2는 더 깊은 조합적 추론, 다단계 논리, 맥락적 규칙 적용, 기호적 추상화를 강조하도록 확장된 버전이다.

학습에는 학습 세트의 모든 시연 및 테스트 입출력 쌍과, 평가 세트의 모든 시연 쌍 및 테스트 입력이 사용됐다. 데이터셋은 평행 이동, 회전, 뒤집기, 색상 순열로 증강된다. 각 과제 예제 앞에는 해당 퍼즐을 나타내는 학습 가능한 특수 토큰이 붙는다.

테스트 시에는 평가 세트의 각 테스트 입력에 대해 1,000개의 증강 변형을 생성해 풀고, 각각에 역증강 변환을 적용해 예측을 얻는다. 그중 가장 많이 등장한 두 개의 예측을 최종 출력으로 선택한다. 컨텍스트는 30x30 그리드, 즉 900 토큰이다.

Sudoku-Extreme

기존 연구에서 가장 많이 쓰이는 Kaggle 스도쿠 데이터셋은 초등적인 single-digit 기법만으로 완전히 풀린다. 17-clue 최소 퍼즐도 단서가 적어 어려워 보이지만, 17이 유일해를 보장하는 최소 단서 수이기 때문에 단서들이 서로 고도로 직교해야 하고 그 결과 직접적이고 쉽게 풀리는 경로가 많이 생긴다.

저자들은 더 어려운 Sudoku-Extreme을 구성했다.

구성	규모
쉬운 퍼즐(Kaggle, 17-clue, 스도쿠 분포에서의 비편향 샘플)	1,149,158개
어려운 퍼즐(Magictour 1465, Forum-Hard, Forum-Extreme)	3,104,157개
학습·테스트 분할	90/10, 테스트 퍼즐이 학습 샘플의 동치 변환으로 유도될 수 없도록 보장
주 실험용 소규모 학습 세트	1,000개
분석 실험용 전체 세트(Sudoku-Extreme-Full)	3,831,994개

난이도는 명제 논리로 추측 횟수를 줄이는 스도쿠 솔버 tdoku가 필요로 하는 백트래킹(추측) 횟수로 측정된다. Sudoku-Extreme의 평균 난이도는 퍼즐당 22회 백트래킹으로, 최근의 수작업 퍼즐 데이터셋인 Sudoku-Bench의 평균 0.45회보다 훨씬 높다.

스도쿠 학습에는 band 순열과 digit 순열 증강이 적용된다.

Maze-Hard

30x30 미로에서 최적 경로를 찾는 과제다. Lehnert 등의 인스턴스 생성 절차를 따르되, 난이도가 110을 초과하는 인스턴스만 남기는 필터를 추가했다. 여기서 난이도는 최단 경로의 길이로 정의되며, 이는 GPU 상의 wavefront BFS 알고리즘의 선형 시간 복잡도와 일치한다. 경로는 유효하면서 동시에 최적, 즉 시작점에서 목표까지의 최단 경로일 때만 정답으로 인정된다. 학습 세트와 테스트 세트 모두 1,000개다. 미로 과제에는 데이터 증강이 적용되지 않는다.

스도쿠와 미로는 모두 단일 추론 패스만 수행한다.

베이스라인

ARC-AGI의 CoT 모델 점수는 공식 리더보드에서 가져왔고, 스도쿠와 미로 점수는 해당 API로 직접 평가해 얻었다. “Direct pred” 베이스라인은 사전학습과 CoT 없이 직접 예측하는 설정으로, HRM의 학습 셋업을 그대로 유지하되 아키텍처만 Transformer로 바꾼 것이다. 이 베이스라인은 HRM과 동일한 크기의 8층 Transformer를 사용한다.

주요 결과

벤치마크 정량 비교

Figure 1의 결과를 정리하면 다음과 같다. 단위는 정확도 퍼센트다.

모델	ARC-AGI-1	ARC-AGI-2	Sudoku-Extreme (9x9)	Maze-Hard (30x30)
HRM (27M)	40.3	5.0	55.0	74.5
o3-mini-high	34.5	3.0	0.0	0.0
Claude 3.7 8K	21.2	0.9	0.0	0.0
Deepseek R1	21.0	1.3	0.0	0.0
Direct pred	15.8	0.0	0.0	0.0

각 벤치마크의 학습 예제 수는 ARC-AGI-1이 960개, ARC-AGI-2가 1,120개, Sudoku-Extreme과 Maze-Hard가 각각 1,000개다. HRM은 27M 파라미터와 900 토큰 컨텍스트만으로, 훨씬 큰 파라미터 수와 긴 컨텍스트를 가진 CoT 모델들을 ARC-AGI에서 앞섰다.

ARC-AGI-1에서 Direct pred 베이스라인은 사전학습 없이 ARC-AGI를 학습하도록 설계된 도메인 특화 equivariant 네트워크(Liao와 Gu)와 동등한 성능을 보였다. Transformer를 HRM의 계층적 프레임워크로 교체하고 ACT를 적용하는 것만으로 2배 이상의 성능 향상이 발생했다.

Sudoku-Extreme과 Maze-Hard에서는 격차가 결정적이다. 긴 추론 트레이스를 요구하는 이 벤치마크들에서 CoT 기반 방법은 거의 아무것도 풀지 못했다. 1,000개 학습 예제 조건에서 Direct pred는 완전히 실패했다. 다만 더 큰 Sudoku-Extreme-Full로 학습하면 Direct pred도 일부 쉬운 스도쿠를 풀어 16.9%에 도달한다. 미로 과제와 관련해 Lehnert 등은 175M 파라미터의 대형 vanilla Transformer를 100만 개 예제로 여러 차례 학습시켰음에도 30x30 미로에서 pass@64 기준 정확도 20% 미만에 그쳤다고 보고했다.

깊이 스케일링 실험

Sudoku-Extreme-Full 데이터셋에서 수행된 스케일링 실험은 폭이 아니라 깊이가 핵심임을 보여준다.

8층 고정 상태에서 Transformer의 폭을 27M부터 872M까지 키워도 성능 향상이 없었다. 반면 hidden size 512 고정 상태에서 깊이를 8에서 512까지 늘리면 성능이 개선된다. 그러나 표준 Transformer와 recurrent Transformer는 깊이가 늘어나면 곧 포화되어 추가 깊이의 이득을 얻지 못한다. HRM은 이 한계를 넘어 계산 깊이를 실제로 활용해 거의 완벽한 정확도에 도달했다.

ACT와 추론 시점 스케일링

Sudoku-Extreme-Full에서 ACT를 적용한 HRM과 ACT의 M_max와 동일한 고정 계산 스텝 수를 쓰는 HRM을 비교했다.

ACT는 M_max가 커져도 평균 계산 스텝 수를 낮고 안정적으로 유지했다. 정확도는 고정 계산 모델과 비슷한 수준을 유지하면서 평균 계산 스텝은 크게 줄었다. 즉 ACT가 과제 복잡도에 따라 계산 자원을 실제로 조절한다.

추론 시점 스케일링도 확인됐다. 특정 M_max로 학습된 모델은 추론 시 더 높은 계산 한도로 일반화되어 정확도가 개선된다. 예를 들어 M_max = 8로 학습한 모델은 추론 시 M_max = 16으로 실행하면 정확도가 더 올라간다. 추가 학습이나 아키텍처 변경 없이 M_max 파라미터만 키우면 된다.

다만 이 이득은 과제에 따라 다르다. 장기 계획이 필요한 스도쿠에서는 추론 시점 스케일링 효과가 강하지만, ARC-AGI에서는 해가 대체로 몇 번의 변환만 요구하기 때문에 추가 계산의 이득이 미미하다.

중간 타임스텝 시각화

HRM이 실제로 어떤 추론 알고리즘을 구현하는지 확인하기 위해 저자들은 상태 궤적과 그에 대응하는 해의 진화를 분석했다. 각 타임스텝 i에서 상태 쌍 (z_L^i, z_H^i)를 받아 H-모듈로 예비 forward pass를 수행해 z_bar^i = f_H(z_H^i, z_L^i; theta_H)를 얻고, 이를 디코딩한 예측 y_bar^i = f_O(z_bar^i; theta_O)를 시각화했다.

과제	관찰된 전략
Maze-Hard	여러 잠재 경로를 동시에 탐색한 뒤 막히거나 비효율적인 경로를 제거하고, 예비 해의 윤곽을 만든 다음 여러 차례 정제한다
Sudoku-Extreme	깊이 우선 탐색과 유사하게 잠재적 해를 탐색하다가 막다른 길에 도달하면 백트래킹한다
ARC-AGI	보드를 점진적으로 조정하며 반복적으로 개선한다. 백트래킹이 잦은 스도쿠와 달리 hill-climbing 최적화에 가까운 일관된 진행을 보인다

모델이 과제마다 서로 다른 추론 방식에 적응하며 효과적인 전략을 선택하는 것으로 보인다는 것이 저자들의 해석이다. 다만 이 해석에는 더 많은 연구가 필요하다고 명시한다.

뇌 대응 분석

시스템 신경과학의 원리 중 하나는 뇌 영역의 기능적 레퍼토리가 그 영역 신경 표현의 차원성과 밀접하게 연결된다는 것이다. 저자들은 고차원 표현의 유효 차원성을 재는 표준 지표인 Participation Ratio(PR)로 이를 정량화했다.

PR = (sum_i lambda_i)^2 / (sum_i lambda_i^2)

여기서 lambda_i는 신경 궤적 공분산 행렬의 고윳값이다. PR이 높으면 분산이 여러 차원에 고르게 분포한 고차원 표현이고, 낮으면 소수의 주성분에 분산이 집중된 저차원 구조다.

생쥐 피질에서는 저수준 감각 영역에서 고수준 연합 영역으로 갈수록 PR이 단조 증가하며, Spearman 상관계수는 0.79(P = 0.0003)다.

Sudoku-Extreme-Full로 학습한 HRM에 대해 100개의 서로 다른 스도쿠 풀이 궤적에서 수집한 신경 상태의 공분산 행렬로 PR을 계산한 결과는 다음과 같다.

모델 상태	학습된 HRM	미학습 HRM
저수준 모듈 z_L	30.22	42.09
고수준 모듈 z_H	89.95	40.75

학습된 모델에서는 고수준 모듈이 훨씬 큰 부분공간에서 작동하는 명확한 차원성 위계가 나타난다. 또한 고유 과제(궤적) 수를 10개에서 100개로 늘리면 z_H의 차원성은 그에 맞춰 확장되는 반면 z_L의 차원성은 안정적으로 유지된다.

동일한 아키텍처를 무작위 가중치로 초기화한 미학습 네트워크에서는 두 모듈의 PR이 낮고 서로 거의 구별되지 않으며, 과제 수에 따라 확장되지도 않는다. 이는 차원성 위계가 아키텍처의 산물이 아니라 학습을 통해 창발하는 성질임을 보여준다.

HRM의 고수준 대 저수준 PR 비율은 약 2.98로, 생쥐 피질에서 측정된 약 2.25와 가깝다. 통상적인 심층 신경망은 마지막 층 특징이 저차원 부분공간으로 수렴하는 neural collapse를 보이는데, HRM은 이 패턴에서 벗어나 상위 모듈에서 고차원 표현을 유지한다.

한계와 주의사항

논문이 명시적으로 언급하는 한계와 유의점은 다음과 같다.

뇌 대응 분석의 증거는 상관관계에 그친다. 인과적 연결은 H-모듈의 차원성을 제약하는 등의 개입 실험으로 검증할 수 있지만, 그런 방법은 학습 과정 자체에 교란 효과를 미칠 수 있어 딥러닝에서 해석이 어렵다. 창발한 위계 구조의 인과적 필요성은 향후 연구 과제로 남아 있다.

HRM이 어떤 추론 알고리즘을 구현하는지에 대한 확정적 답은 논문 범위를 벗어난다. 중간 타임스텝 시각화는 예비 조사에 해당하며, 해 공간에 대한 포괄적 이해에는 추가 연구가 필요하다.

추론 시점 추가 계산의 효과는 과제 의존적이다. ARC-AGI처럼 해가 소수의 변환으로 구성되는 과제에서는 계산량을 늘려도 이득이 미미하다.

모듈의 다중 입력 결합에는 단순한 원소별 덧셈을 사용했다. gating 메커니즘 같은 더 정교한 결합 기법이 성능을 개선할 가능성이 있으나 향후 과제로 남겨졌다.

고수준·저수준 모듈은 개념적 추상화이며, 특정 신경 진동 주파수에 직접 대응하지 않는다. Turing-completeness 역시 충분한 메모리와 시간 제약이 주어졌을 때 성립하는 성질이다.

논의

HRM은 Universal Transformer 같은 초기 신경 추론 알고리즘과 마찬가지로, 충분한 메모리와 시간이 주어지면 계산적으로 보편적이다. 즉 임의의 Turing machine을 시뮬레이션할 수 있는 모델 범주에 속하며, 표준 Transformer의 계산 한계를 넘어선다. 기존 신경 알고리즘 추론기들은 순환 신경망으로 학습되어 조기 수렴과 메모리 집약적 BPTT 문제를 겪었고, 실제 유효 계산 깊이가 제한적이었다. HRM은 이 두 문제를 해결하고 적응적 계산을 갖춤으로써 긴 추론 과정을 학습할 수 있게 됐다.

강화학습과의 비교도 다룬다. 최근 증거는 RL이 근본적으로 새로운 추론 메커니즘을 발견하기보다 기존의 CoT 유사 능력을 끌어내는 데 주로 기여한다는 점을 시사한다. 또한 RL 기반 CoT 학습은 불안정하고 데이터 비효율적이며 광범위한 탐색과 세심한 보상 설계를 요구한다. 반면 HRM은 희소한 보상 신호 대신 밀집된 gradient 기반 감독으로 피드백을 받는다. 연속 공간에서 작동하기 때문에 추론·계획 복잡도가 다른 토큰들에 동일한 계산 자원을 배분하는 문제도 피한다.

선형 어텐션은 순환을 어텐션의 이차 복잡도 대체 수단으로 활용하는 흐름이다. Log-linear Attention 같은 변형은 다중 시간척도 요약 통계를 전파하는 RNN 유사 상태 갱신을 공유해, 이차 메모리 증가 없이 장거리 맥락을 유지한다. 그러나 어텐션 메커니즘만 교체해서는 Transformer가 고정 깊이라는 사실이 바뀌지 않으며, 보상 메커니즘으로서의 CoT 의존도 남는다. 다만 선형 어텐션은 긴 컨텍스트에서 key-value 캐시를 줄일 수 있어 자원 제약이 있는 엣지 디바이스 배포에 적합하다.

결론

HRM은 계층 구조와 다중 시간척도 처리를 활용해 학습 안정성과 효율을 희생하지 않고 상당한 계산 깊이를 확보하는 뇌 영감 아키텍처다. 27M 파라미터와 1,000개 예제만으로 ARC, 스도쿠, 복잡한 미로 탐색 등 현대 LLM과 CoT 모델이 어려워하는 추론 문제를 해결했다.

두뇌는 대부분의 인지 과정에서 계층 구조에 크게 의존하지만, 이 개념들은 주로 학술 문헌에 머물렀고 실제 응용으로 옮겨지지 못했다. 현재 AI의 지배적 접근은 여전히 비계층적 모델을 선호한다. 저자들은 이 결과가 그 패러다임에 대한 반론이며, HRM이 CoT 추론의 실질적 대안이자 Turing-complete 보편 계산을 향한 기반 프레임워크가 될 수 있다고 주장한다.

Reference