Agent Memory Distillation: 계층적 교사 메모리로 소형 LLM 에이전트를 끌어올리기
목차
개요
KAIST와 DeepAuto.ai 연구진이 발표한 Agent Memory Distillation(AMD)은 대형 교사 에이전트의 경험을 소형 학생 에이전트에게 계층적 메모리 형태로 전달하는 학습 없는(training-free) 프레임워크다. 파라미터를 업데이트하지 않고 교사의 성공 궤적에서 추출한 구조화된 지식을 주입하는 것만으로 4B에서 8B 규모 학생 모델의 도구 사용 성능을 끌어올린다.
AMD는 교사의 성공 궤적으로부터 세 종류의 상호 보완적 메모리를 구축한다. Workflow 메모리는 태스크 수준 전략을, Subtask 메모리는 중간 단위의 구체적 행동 예시를, Function 메모리는 개별 함수의 호출 규약과 흔한 함정을 담는다. Workflow와 Subtask는 태스크 시작 시점에 선제적으로 주입하고, Function은 도구 호출 오류가 발생한 순간에 반응적으로 검색해 붙인다.
GPT-5-mini를 교사로 두고 네 개의 학생 모델로 평가한 결과, zero-shot 대비 AppWorld에서 평균 27.2%p, BFCL V3에서 11.2%p, ToolSandbox에서 3.4%p의 정확도 향상을 기록했다.
문제 의식
소형 에이전트의 메모리 빈곤
메모리는 자기 진화형 에이전트의 핵심 구성 요소로 자리 잡았다. 성공한 행동 패턴을 재사용하고 과거 실패를 피하게 해주며, 도구 사용 환경에서는 인자 스키마나 반환 구조 같은 도구 규약까지 인코딩할 수 있다.
문제는 이 효과가 대형 상용 모델에서 주로 입증됐다는 점이다. 소형 에이전트는 태스크 성공률 자체가 낮기 때문에, 스스로 축적한 메모리 저장소가 실패 궤적으로 채워지고 성공 경험은 극소수에 그친다. 실패를 반성해 다음 행동을 개선하는 방식이 있긴 하지만, 성공 궤적의 절대적 희소성이 메모리 활용의 상한을 근본적으로 제한한다.
논문의 애블레이션에서 학생이 스스로 만든 메모리(Student Memory)를 사용한 변형은 AppWorld에서 zero-shot과 거의 차이가 없는 결과를 보였다. Qwen3-4B 기준 zero-shot 14.88%에 대해 Student Memory는 16.07%에 그쳤다.
단순 교사 메모리 전달이 실패하는 이유
그렇다면 성능이 좋은 교사가 만든 메모리를 그대로 주면 될 것 같지만, 저자들의 관찰은 다르다. 고품질 교사 경험에 접근할 수 있음에도 단순 메모리 전달은 학생 자체 메모리와 비슷한 수준의 미미한 개선만 낳았다.
원인은 교사와 학생 사이의 역량 격차다. 교사 메모리가 “재생을 시작하려면 먼저 로그인하라” 같은 고수준 전략을 제안해도, 학생은 로그인 절차 자체를 수행할 선행 지식이 없다. 게다가 소형 모델은 대형 모델에 비해 in-context learning 능력과 지시 따르기 능력이 떨어져, 교사 메모리를 직접 받아도 해석하고 적용하는 데 어려움을 겪는다.
이는 전통적 지식 증류에서 관찰된 지식 격차 문제와 유사하며, 에이전트 메모리 증류에 맞춘 원칙적 전략이 필요하다는 것이 이 논문의 출발점이다.
관련 연구
메모리를 갖춘 LLM 에이전트 연구는 Reflexion이 언어화된 자기 피드백과 에피소드 메모리 버퍼의 가능성을 보인 것에서 출발한다. ExpeL은 경험을 수집해 태스크 간 통찰을 추출하고 이후 추론에서 검색하며, AWM은 공통 다단계 워크플로를 추출해 재사용한다. ReasoningBank는 테스트 타임 스케일링으로 후보 궤적을 샘플링해 추론 통찰을 생성하고, MemP는 궤적을 다층 추상화로 증류하는 절차적 메모리를 제안한다. ReflecTool은 도구별 경험을 저장해 검색하고, SASM은 인스턴스 수준 검색의 세분성 불일치를 해결하기 위해 서브태스크 수준 메모리 정렬을 제안한다.
이들 방법의 공통점은 GPT-4나 Gemini 2.5 같은 대형 상용 모델 중심으로 평가됐다는 것이다. 추론 능력과 지시 따르기 능력이 떨어지는 소형 에이전트에서 메모리 활용이 제한된다는 문제는 다뤄지지 않았다.
지식 증류 계열에서는 SAD가 교사 궤적을 추론 구간과 행동 구간으로 나눠 구간별 증류 손실을 적용하고, Agent Distillation은 검색과 코드 도구 사용을 포함한 전체 태스크 해결 행동을 전달하며, SCoRe는 학생 중심 단기 지평 강화학습 기반 증류를 제시한다. 다만 이들은 비용이 큰 학습을 통한 파라미터 업데이트에 의존한다. AgentDistill은 교사가 생성한 MCP를 재사용하는 학습 없는 접근이지만 학생이 교사 메모리를 직접 활용하게 하지는 않는다. 저자들은 AMD가 교사-학생 메모리 증류를 역량 격차를 명시적으로 고려하며 체계적으로 다룬 첫 연구라고 주장한다.
방법론
문제 정식화
대상은 다중 턴 도구 사용 추론 태스크다. 에이전트는 사전 정의된 함수 집합 F에서 도구 호출을 순차적으로 발행하고 관찰을 받는 상호작용 환경에서 동작한다. 태스크 s가 주어지면 에이전트는 각 단계의 도구 호출과 그 결과 관찰이 짝을 이룬 궤적을 생성한다.
대형 모델을 백엔드로 하는 교사 에이전트와 4B 또는 8B 소형 모델을 백엔드로 하는 학생 에이전트를 구분한다. 태스크 집합에 대해 교사를 먼저 실행해 교사 궤적 집합을 수집하고, 교사가 이로부터 메모리 저장소를 구성해 학생에게 전달한다. 추론 시점에 학생은 관련 메모리를 검색해 추론에 활용하며, 목표는 학생의 태스크 성공 보상 기댓값을 최대화하는 메모리 구성을 찾는 것이다.
세 가지 계층 메모리 생성
메모리는 교사 궤적 중 성공한 부분집합에서만 구축한다.
Workflow 메모리는 교사의 고수준 태스크 완수 전략을 담는다. 성공 궤적마다 자연어 통찰을 생성하며, 관여한 앱과 도구, 핵심 선행 조건, 완수를 위한 결정 규칙, 검증 단서, 피해야 할 흔한 실패 패턴을 포함한다. 중요한 설계는 런타임 값을 추상화한다는 점이다. 식별자, 자격 증명, 파일 경로 같은 동적 입력은 타입이 붙은 플레이스홀더(예: 대괄호 형태의 ID, EMAIL, FILE_PATH 표기)로 치환되어, 입력이 다른 미래 태스크에도 적용 가능한 상태로 남는다. 각 항목은 태스크를 특징짓는 자연어 질의와 함께 밀집 벡터로 인코딩된다.
Subtask 메모리는 고수준 계획과 저수준 도구 호출 사이를 잇는 중간 세분성의 구체적 행동 예시다. 성공 궤적을 의미적으로 일관된 세그먼트 시퀀스로 분해하며, 각 세그먼트는 서비스 인증이나 하나의 서브태스크를 수행하는 연속 API 호출처럼 의미 단위에 대응한다. 분해는 교사 LLM이 수행하고, API 호출 경계에서 도출한 규칙 기반 분기점 힌트가 보조로 제공된다. 각 세그먼트는 구체적 실행 예시(도구 호출 또는 실행 가능한 코드와 대응 관찰)를 라벨과 한 문장 설명과 함께 저장하며, 설명이 검색용 벡터로 인코딩된다. 궤적당 세그먼트는 최대 6개를 권장한다.
Function 메모리는 개별 함수 호출 수준의 세밀한 도구 호출 지식을 담는다. 성공 궤적에서 함수 호출을 추출해 함수 이름과 구체적 교사 예시를 저장하고, 인자와 응답 스키마를 명시하는 API 문서가 있으면 함께 붙인다. 예시는 실행 가능한 호출과 그 주변 맥락, 그리고 가능한 경우 반환 관찰까지 포함하므로, 해당 호출을 왜 그 시점에 했고 인자에 어떤 제약이 걸리는지가 드러난다. Workflow와 Subtask가 밀집 벡터 유사도로 검색되는 것과 달리, Function 항목은 함수 이름으로 색인된다.
AppWorld처럼 API 문서가 풍부한 벤치마크에서는 인자와 응답 스키마를 함께 첨부하고, BFCL V3와 ToolSandbox처럼 시그니처 수준의 최소 스키마만 있는 경우에는 성공 궤적의 구체 예시만으로 Function 메모리를 구성한다.
능동 주입과 반응형 주입
추론 시점의 검색은 사전 인코딩된 메모리 항목과의 코사인 유사도로 수행하며, 최소 유사도 임계값 미만은 폐기한다.
능동 주입은 태스크 시작 시 한 번 일어난다. Workflow는 태스크 지시문을 질의로 삼아 상위 k개를 검색하고, 검색된 통찰을 시스템 프롬프트 앞에 붙인다. Subtask는 학생이 먼저 태스크 지시문을 최대 6개의 순서 있는 서브태스크 라벨로 분해한 뒤, 각 라벨을 독립적인 검색 질의로 사용한다. 서브태스크마다 가장 잘 맞는 항목을 하나씩 가져오되 중복 예시가 들어가지 않도록 라벨 기준 중복 제거를 적용한다.
반응형 주입은 실행 실패에 대응한다. 도구 호출이 오류를 반환하면 실패한 함수 이름을 추출해 Function 메모리를 조회한다. 같은 함수에 여러 레코드가 있으면 현재 태스크 지시문과 저장된 근거 사이의 코사인 유사도로 순위를 매겨 상위 예시를 고른다. 검색된 레코드는 힌트 블록으로 포맷되어 오류 메시지에 덧붙는다. 실패 시점에만 주입되므로 정상 실행 중에는 컨텍스트가 부풀지 않는다.
실험 설정
세 가지 도구 사용 벤치마크를 사용한다.
| 벤치마크 | 행동 단위 | 평가 대상 | 규모 |
|---|---|---|---|
| AppWorld | 상태를 유지하는 인터프리터에서 실행되는 Python 코드 블록 | 데이터베이스 상태 단위 테스트 | test_normal 168개 태스크 |
| BFCL V3 | 구조화된 함수 호출 | 매 턴의 API 상태와 최소 실행 경로 일치 | multi-turn base 200개 태스크 |
| ToolSandbox | JSON 도구 호출 | 사람이 작성한 마일스톤과 마인필드 | base 129개 시나리오 |
AppWorld는 이메일, 메시징, 결제 서비스 등 시뮬레이션된 실제 앱들을 Python API 호출로 다루는 다중 앱 벤치마크다. BFCL V3는 사용자 턴이 사전 지정된 함수 호출 벤치마크로, 모든 턴이 기대 상태와 일치해야만 정답으로 인정된다. ToolSandbox는 도구들이 공유 세계 상태와 이전 호출에 의존하는 대화형 벤치마크이며, 사용자 시뮬레이터로 GPT-5-mini를 사용했다.
교사는 GPT-5-mini이고 학생은 Qwen3-4B, Qwen3-8B, Gemma4-E4B, Llama3.1-8B 네 가지다. 메모리 인코딩에는 OpenAI의 text-embedding-3-small을 사용했고, 세 메모리 유형 모두 검색 개수 k는 1로 설정했다. 학생 에이전트는 태스크당 최대 40 상호작용 스텝을 허용받으며 vLLM으로 서빙된다. Qwen3 계열은 공정한 비교를 위해 thinking 모드를 비활성화했고, 각 실험은 두 번 반복해 평균을 보고한다.
비교 대상은 교사 에이전트, 학생 zero-shot, 그리고 교사-학생 전이 설정에 맞춰 적용한 세 가지 메모리 프레임워크다. ReasoningBank는 태스크당 단일 추론 통찰을 검색하는 평면적 태스크 수준 접근이고, MemP는 계층적 절차 추상화를 쓰지만 동일 모델의 자기 진화를 전제한다. SASM은 서브태스크 수준 검색 세분성을 도입하지만 계획, 실행, 오류 복구를 구분하지 않고 단일 메모리 유형을 적용한다.
주요 결과
벤치마크 정확도
| 모델 및 방법 | AppWorld | BFCL V3 | ToolSandbox | 평균 |
|---|---|---|---|---|
| 교사 GPT-5-mini | 50.00 | 36.50 | 28.68 | 38.39 |
| Qwen3-4B zero-shot | 14.88 | 15.50 | 16.28 | 15.55 |
| Qwen3-4B ReasoningBank | 10.71 | 24.25 | 16.28 | 17.08 |
| Qwen3-4B MemP | 16.67 | 28.25 | 14.73 | 19.88 |
| Qwen3-4B SASM | 15.48 | 15.25 | 18.22 | 16.32 |
| Qwen3-4B AMD | 49.40 | 38.50 | 20.16 | 36.02 |
| Gemma4-E4B zero-shot | 24.40 | 37.25 | 18.22 | 26.62 |
| Gemma4-E4B AMD | 54.17 | 46.00 | 21.71 | 40.63 |
| Qwen3-8B zero-shot | 25.60 | 38.00 | 20.16 | 27.92 |
| Qwen3-8B AMD | 51.79 | 45.50 | 25.58 | 40.96 |
| Llama3.1-8B zero-shot | 8.93 | 9.00 | 5.43 | 7.79 |
| Llama3.1-8B AMD | 27.38 | 14.50 | 6.20 | 16.03 |
AMD는 모든 모델과 모든 벤치마크에서 베이스라인을 일관되게 앞선다. zero-shot 대비 절대 향상폭은 Qwen3-4B가 AppWorld에서 34.52%p, Gemma4-E4B가 29.77%p, Qwen3-8B가 26.19%p, Llama3.1-8B가 18.45%p다.
반면 기존 메모리 방법 세 가지는 개선이 일관되지 않고 오히려 성능을 떨어뜨리는 경우도 있다. ReasoningBank는 AppWorld에서 Qwen3-4B의 정확도를 14.88%에서 10.71%로 낮췄고, MemP와 SASM도 모델에 따라 불안정한 거동을 보인다. 저자들은 평면적이거나 구조가 불충분한 교사 메모리를 그대로 전달하면 잡음이 유입되거나 소형 학생의 이해 및 지시 따르기 능력을 초과하기 때문이라고 해석한다.
교사를 따라잡거나 넘어서는 학생
AppWorld에서 Gemma4-E4B(54.17%)와 Qwen3-8B(51.79%)는 AMD 적용 시 교사 GPT-5-mini(50.00%)를 넘어섰고, Qwen3-4B(49.40%)도 교사에 필적하는 수준에 도달했다. BFCL V3에서는 세 학생이 교사를 앞섰다. 평균 기준으로도 Gemma4-E4B(40.63%)와 Qwen3-8B(40.96%)가 교사 평균(38.39%)을 초과한다.
저자들은 이를 학생이 교사 궤적을 단순 모방한 결과가 아니라고 본다. AMD가 전이 가능한 의사결정 패턴을 증류하고 각 학생이 자신의 귀납 편향에 맞춰 재구성하기 때문에, 증류된 행동이 지도 원천을 넘어설 수 있다는 설명이다.
상호작용 효율
정확도 외에 상호작용 효율에서도 교사와 유사한 방향으로 정렬된다. AppWorld에서 zero-shot 학생은 교사보다 훨씬 많은 턴을 소비하는데, Qwen3-4B의 경우 교사 10.1턴에 대해 23.8턴을 썼다. AMD 적용 후에는 Qwen3-4B가 14.9턴, Gemma4-E4B가 7.2턴으로 교사에 훨씬 가까워졌다.
BFCL V3처럼 zero-shot 턴 수가 이미 교사와 비슷한(대략 8에서 11턴) 환경에서는 AMD가 효율을 크게 바꾸지 않고 유지한다. 무엇을 할지뿐 아니라 얼마나 효율적으로 할지까지 전이되며, 정렬 정도는 원래의 격차 크기를 따라간다는 패턴이다.
분석
메모리 구성 요소 애블레이션
Workflow, Subtask, Function을 순차적으로 얹으며 기여도를 측정했다.
| 구성 | Qwen3-4B AppWorld | Qwen3-8B AppWorld | Gemma4-E4B AppWorld | Qwen3-4B BFCL V3 |
|---|---|---|---|---|
| Zero-shot | 14.88 | 25.60 | 24.40 | 15.50 |
| WF | 22.02 | 30.36 | 30.36 | 35.50 |
| WF + FN | 24.11 | 33.93 | 40.48 | 35.50 |
| WF + ST | 47.02 | 51.19 | 53.57 | 37.50 |
| WF + ST + FN | 49.40 | 51.79 | 54.17 | 38.50 |
| Student Memory | 16.07 | 29.76 | 25.60 | 27.00 |
Workflow 단독으로도 두 벤치마크 모두에서 zero-shot 대비 일관된 향상이 나타난다. 가장 큰 증분은 Subtask 추가에서 발생하며, Qwen3-4B의 AppWorld 기준 Workflow 단독 대비 25.0%p가 더해진다. 복잡하고 긴 지평의 태스크에서는 서브태스크 수준의 구체적 행동 예시가 가장 결정적인 요소라는 뜻이다. Function은 추가 향상을 주지만 크기는 상대적으로 작다.
모델별 예외도 관찰된다. Llama3.1-8B는 AppWorld에서 WF+ST의 30.36%가 WF+ST+FN에서 27.38%로 떨어지는데, 저자들은 지시 따르기 능력이 상대적으로 약해 오류 복구 시 추가된 컨텍스트가 계획된 실행에서 이탈하게 만들었을 가능성을 제시한다. 반대로 Gemma4-E4B는 Function 추가가 모든 구성에서 일관되게 성능을 올렸고, AppWorld에서 WF의 30.36%가 WF+FN에서 40.48%로 크게 상승했다.
교사 모델의 영향
AppWorld에서 교사를 바꿔가며 측정한 결과는 다음과 같다.
| 교사 | 교사 정확도 | Qwen3-4B | Qwen3-8B |
|---|---|---|---|
| Zero-shot (교사 없음) | - | 14.88 | 25.60 |
| GPT-5.5 | 91.08 | 47.02 | 58.93 |
| DeepSeek V4 Pro | 81.55 | 38.10 | 57.14 |
| GPT-5-mini | 50.00 | 49.40 | 51.79 |
| Qwen3-32B | 34.42 | 29.76 | 39.29 |
더 강한 학생인 Qwen3-8B에서는 교사 정확도가 증류 품질의 신뢰할 만한 예측자로 작동한다. GPT-5.5가 58.93%로 가장 높고, 교사 정확도 순서대로 학생 성능이 정렬된다.
그러나 약한 학생인 Qwen3-4B에서는 이 순서가 무너진다. GPT-5-mini가 49.40%로 가장 좋은 결과를 내며, 교사 정확도가 훨씬 높은 DeepSeek V4 Pro(38.10%)를 앞선다. AMD가 역량 격차를 상당 부분 완화하지만 4B 학생과 교사 사이에는 여전히 완만한 격차가 남아 있으며, 교사 선택에서 정확도만이 아니라 학생과의 호환성이 함께 작용한다는 의미다.
학생 모델 크기와 검색 개수
Qwen3 계열에서 1.7B부터 14B까지 학생 크기를 바꾸며 AppWorld 정확도를 측정한 결과, AMD 정확도는 각각 21.43%, 49.40%, 51.79%, 52.68%로 모델 크기에 따라 꾸준히 증가한다. 반면 향상폭은 4B에서 34.52%p로 정점을 찍고 그보다 큰 모델에서는 줄어든다. 1.7B에서는 용량 한계로 주입된 메모리를 제대로 활용하지 못해 절대 정확도가 낮고, 8B와 14B에서는 이미 교사 수준(50.00%)에 도달해 개선 여지가 좁다. 전달된 지식을 활용할 만큼의 능력은 갖추면서도 zero-shot 기준선이 낮아 개선 여지가 큰 4B 부근이 가장 큰 상대적 이득을 본다.
검색 개수 k를 1에서 5까지 변화시킨 실험에서는 k가 1일 때 세 메모리 유형 모두 최적이거나 그에 근접했고, k를 늘리면 대체로 성능이 떨어졌다. 특히 Subtask 메모리에서 두드러져 정확도가 49.40%에서 33.34%까지 단조 감소했다. Workflow는 완만하게 하락하고 Function은 k에 대해 안정적이다. 소형 학생 모델의 제한된 용량 때문에 순위가 낮은 항목을 추가로 주입하면 무관하거나 느슨하게 매칭된 내용이 유입되어 실행을 방해한다는 해석이다. 폭보다 정밀하고 확신도 높은 주입이 중요하다는 결론이 나온다.
메모리 표현 형식
각 메모리 유형을 자연어 텍스트로 쓸지 코드 중심 형식으로 쓸지 비교했다.
| Workflow | Subtask | Function | AppWorld 정확도 |
|---|---|---|---|
| Code | Code | Code | 44.05 |
| Text | Code | Code | 49.40 |
| Text | Text | Code | 23.21 |
| Text | Code | Text | 47.62 |
| Text | Text | Text | 26.19 |
Workflow는 자연어 통찰이 코드 중심 형식보다 낫다(49.40% 대 44.05%). 태스크 수준 전략은 산문으로 표현할 때 더 자연스럽고 일반화된다.
Subtask는 반대다. 짧은 텍스트 설명에 구체적 실행 코드 블록을 짝지은 코드 중심 형식이 순수 자연어 설명(23.21%)을 크게 앞선다. 실행 가능한 예시가 소형 모델이 따라 하기 쉬운 모호하지 않은 행동 패턴을 제공하기 때문이다. Function을 자연어로 바꿔도 성능이 떨어지고(47.62%), 셋 다 자연어로 바꾸면 26.19%까지 급락한다.
즉 최적 표현은 세분성에 따라 다르다. 고수준 계획 지식은 자연어로, 저수준 실행 지식은 구체적 코드로 전달하는 것이 효과적이다.
케이스 스터디
이번 달에 받은 대기 중 Venmo 결제 요청을 모두 승인하고 남은 잔액을 특정 카드로 출금하는 AppWorld 태스크가 세 메모리의 연쇄적 기여를 잘 보여준다.
메모리가 없을 때 에이전트는 태스크의 시간 범위를 잘못 해석해 이번 달을 벗어난 요청까지 처리한다. 전체 기간의 대기 요청 38건을 모두 수집해버리는 식이다. Workflow 메모리를 주입하면 이번 달이라는 시간 제약이 절차 템플릿에 인코딩되어 19건으로 좁혀진다.
그러나 이 수정이 더 낮은 층위의 datetime 호환성 실패를 드러낸다. 문자열과 가짜 datetime 객체를 비교하는 TypeError가 발생하고, 에이전트는 30가지 이상의 재시도 변형을 돌다가 40 스텝 예산을 소진해 출금 단계에 도달하지 못한다. Subtask 메모리를 추가하면 검증된 날짜 파싱 패턴이 주입되어 8스텝 만에 19건을 모두 승인한다.
이제 시간 필터링은 해결됐지만 출금 단계에서 런타임 오류가 남는다. 잔액 조회 응답이 딕셔너리인데 float와 비교하려다 실패하고, 자기 복구 시도가 잘못된 키를 골라 KeyError를 낸다. 실제 응답 키는 venmo_balance인데 balance를 찾는 식이다. Function 메모리가 후보 키들을 순회하는 교사의 파서 예시를 제공하면서 391달러를 정확히 추출해 7스텝 만에 전체 태스크를 완수한다.
세 메모리 유형이 태스크 계획, 실행 전략, API 상호작용이라는 서로 다른 층위의 실패를 각각 해소하며 상호 보완적 계층을 이룬다는 점을 보여주는 사례다.
분리 평가와 재현성
메모리를 구축한 태스크와 평가 태스크가 같으면 이득이 과대평가될 수 있다는 우려에 대해, 저자들은 두 가지 분리 프로토콜로 검증했다. 교차 분할 평가는 각 벤치마크를 7대 3으로 나눠 메모리 구축용 부분집합에서만 증류하고 남은 부분에서 평가한다. 자기 제외 검색은 전체 벤치마크로 메모리를 만들되 평가 시 각 태스크가 자기 자신에서 나온 메모리는 절대 검색하지 못하게 한다.
| 프로토콜 | 구성 | AppWorld | BFCL V3 | ToolSandbox |
|---|---|---|---|---|
| 교차 분할 | Zero-shot | 16.07 | 16.13 | 16.67 |
| 교차 분할 | WF | 21.43 | 25.81 | 18.75 |
| 교차 분할 | WF + ST | 39.29 | 27.42 | 20.83 |
| 교차 분할 | WF + ST + FN | 41.07 | 30.65 | 22.92 |
| 자기 제외 | Zero-shot | 14.88 | 15.50 | 16.28 |
| 자기 제외 | WF | 23.21 | 22.50 | 19.38 |
| 자기 제외 | WF + ST | 40.48 | 30.50 | 20.16 |
| 자기 제외 | WF + ST + FN | 46.43 | 31.00 | 23.26 |
두 프로토콜 모두에서 zero-shot부터 전체 구성까지 단조 증가가 유지되고, 전체 구성이 모든 벤치마크에서 zero-shot을 명확히 앞선다. AppWorld에서 자기 제외 검색이 교차 분할보다 조금 나은 것은 전체 태스크 집합으로 증류할 때 메모리 풀이 더 크기 때문이다.
재현성 검증으로 Qwen3-4B에서 zero-shot과 AMD를 각각 5회 반복했다.
| 방법 | AppWorld | BFCL V3 | ToolSandbox |
|---|---|---|---|
| Zero-shot | 14.48 ± 0.69 | 15.33 ± 0.76 | 16.54 ± 0.44 |
| AMD | 49.60 ± 0.91 | 38.67 ± 0.58 | 20.16 ± 0.78 |
모든 설정에서 표준편차가 1%p 미만이며 평균 향상폭보다 훨씬 작아, 반복 실행에 걸쳐 이득이 안정적임을 보인다.
한계와 주의사항
저자들이 명시한 한계는 세 가지다.
첫째, 평가가 Python API나 구조화된 함수 호출을 다루는 텍스트 기반 도구 사용 벤치마크로만 이뤄졌다. 시각적 관찰에 행동을 접지해야 하는 멀티모달 환경, 그리고 행동 공간이 고정된 호출 가능 연산 집합이 아니라 처음부터 생성해야 하는 개방형 코드인 코딩 태스크로의 일반화는 검증되지 않았다.
둘째, 메모리가 고정된 교사 궤적 집합에서 오프라인으로 구성되고 추론 시점에 동결된다. 학생 자신의 테스트 타임 성공과 실패를 반영할 수 없고, 교사 시연과 학생이 실제로 마주치는 태스크 사이의 분포 이동에도 적응하지 못한다.
셋째, 교사 궤적의 품질과 적합성에 의존한다. 더 강한 교사가 항상 더 큰 학생 이득으로 이어지지 않으며 교사와 학생의 호환성이 함께 작용한다. 어떤 교사가 특정 학생에게 가장 적합한지 결정하는 적응적 교사 선택은 미해결 과제로 남았다.
실무 적용 관점에서 추가로 고려할 점도 있다. ToolSandbox에서의 향상폭은 평균 3.4%p로 다른 두 벤치마크에 비해 작다. 검색 개수를 늘리면 오히려 성능이 떨어지므로 k를 키워 커버리지를 확보하려는 접근은 역효과를 낸다. Llama3.1-8B처럼 지시 따르기 능력이 약한 모델에서는 Function 메모리 추가가 성능을 떨어뜨릴 수 있어 구성별 검증이 필요하다.
결론
AMD는 파라미터 업데이트 없이 교사 에이전트의 경험을 계층적 메모리로 구조화해 소형 학생 에이전트에게 전달하는 프레임워크다. 단순 메모리 전달이 역량 격차 때문에 미미한 개선에 그친다는 관찰에서 출발해, 고수준 계획을 담는 Workflow, 구체적 행동 참조를 담는 Subtask, 세밀한 도구 호출 지침을 담는 Function이라는 세 층위로 문제를 나눈다.
세 벤치마크와 네 학생 모델 실험에서 AMD는 zero-shot과 모든 메모리 기반 베이스라인을 일관되게 앞섰고, 일부 학생은 교사 수준에 도달하거나 이를 넘어섰다. 애블레이션은 각 메모리 유형이 서로 다른 방식으로 기여하며, 효과적인 증류를 위해서는 메모리 복잡도와 학생 용량 사이의 정렬이 필요함을 보여준다. 계획 지식은 자연어로, 실행 지식은 코드로 전달하는 것이 낫다는 표현 형식 실험 결과는 메모리 시스템을 설계할 때 바로 적용할 수 있는 지침이다.