Self-evolving Agent Harness - 모델 가중치를 고정한 채 하네스를 스스로 진화시키는 프레임워크
목차
개요
“Self-evolving Agent Harness”는 모델 가중치를 고정한 상태에서 에이전트의 소프트웨어 스캐폴딩, 즉 프롬프트, 메모리, 워크플로, 실행 가능한 컴포넌트를 실행 피드백으로 수정해 나가는 과정을 형식화한 논문입니다. Zhongguancun Academy, Zhongguancun Institute of Artificial Intelligence, University of Science and Technology of China 연구진이 작성했습니다. 논문은 채택된 수정이 여러 실행에 걸쳐 유지되는 피드백 기반 프로세스를 정의하고, 업데이트 대상(update target)을 제안(proposal) 및 채택(admission) 메커니즘과 분리해서 다룹니다.
업데이트 대상은 해석되는 상태(interpreted state)의 변경과 도구·코드 수정, 저장소 수준의 제어 로직, 플러그인 조합(plugin composition)으로 구분됩니다. 탐색 과정은 진화 최적화(evolutionary optimization)로 설명하고, 신뢰성은 continual PAC-learning 관점에서 분석합니다. 명시적 가정 아래에서 기대 일반화 상한(expected generalization bound), 과거 회귀 예산에 조건부인 유지 상한(retention bound), 그리고 새롭고 독립적인 검증 데이터를 사용하는 고확률 채택 규칙(high-probability admission rule)을 도출합니다.
또한 지속되는 하네스 수정이 지식 공유와 조직 워크플로에 미치는 영향을 과학적 신뢰성, 물리적 안전, 제도적 책임의 관점에서 논의합니다. 선행 연구 사례를 통해 모델-하네스 공동 설계, 분산 실행, 플러그인 재사용을 예시합니다. 저자들은 이 분야를 Harness RSI(Recursive Self-Improvement)라 부르며, 관련 연구·이론·알고리즘·평가·응용·사회적 영향을 다룬 66페이지 분량의 확장 논의와 코드를 GitHub 저장소에 공개했습니다.
왜 하네스를 진화시키는가
배포 이후 과제와 환경이 바뀌면 에이전트는 지속적으로 적응할 수 있는 메커니즘이 필요합니다. 하네스 자기 진화는 실행 피드백을 사용해 지시문, 메모리, 제어 로직을 수정하면서 모델 가중치는 그대로 둡니다. 이후 실행은 채택된 수정을 불러오고, 업데이트 메커니즘은 계속 남아 이후 경험으로부터 다시 학습합니다. 이 과정은 recursive self-improvement와 self-referential problem solving(Good, 1965; Schmidhuber, 2003)의 흐름을 현대 에이전트 맥락으로 옮긴 것입니다.
적응은 모델 가중치를 바꾸는 방식과 프롬프트·메모리·워크플로·도구를 관장하는 하네스를 바꾸는 방식으로 나눌 수 있습니다. 논문이 후자에 집중하는 이유는 세 가지입니다.
| 근거 | 설명 |
|---|---|
| 행동에 대한 직접적 영향 | 하네스는 고정된 모델의 행동을 직접 형성하며, 재사용 가능한 절차는 과제 제약과 과거 실패의 교훈을 보존함 |
| 비용 절감 | 기존 모델 배포를 재사용하므로 재학습과 추가 가중치 체크포인트가 필요 없고, 가중치 접근이 없는 독점 API로도 업데이트 가능 |
| 검사 가능성 | 지시문, 메모리 레코드, 코드는 직접 검사·버전 비교·변경 추적이 가능하지만, 모델 체크포인트 간 행동 차이를 귀속시키려면 추가 통제 실험이 필요함 |
하네스 자기 진화만을 분리해서 보기 위해 과제 모델은 고정하고, 모델과 하네스의 공동 진화는 향후 연구 방향에서 다룹니다.
기존 방법들은 무엇을 수정하는지, 후보를 어떻게 생성하는지, 수정을 어떻게 채택하는지가 서로 다릅니다(Shinn et al., 2023; Zhao et al., 2024; Wang et al., 2024; Zhang et al., 2025b; SICA의 Robeyns et al., 2025). 논문은 먼저 업데이트 대상, 즉 수정되어 이후 실행이 물려받는 상태를 분류합니다. 그리고 경험적 선택만으로는 일반화와 유지(retention)가 보장되지 않는다는 점을 지적합니다.
논문이 밝힌 기여는 세 가지입니다.
- 정의와 운영 분류 체계: 지속적인 피드백 기반 생애 주기를 정의하고, interpreted-state 업데이트와 executable revision을 변이 경계(mutation boundary)에 따라 정리
- 조건부 이론 분석: 하네스 탐색을 진화 알고리즘 구조에 대응시키고, 고전적인 stability 및 concentration 결과로부터 기대 일반화, 누적 회귀의 상한, 고확률 채택 조건을 도출
- 시스템적 함의와 설계 트레이드오프: 다섯 가지 응용 환경에서의 전파·복구 부담을 분석하고, 모델-하네스 페어링, 배포, 재사용 결정을 지속 검증 및 안전 제약과 연결
하네스 자기 진화의 정의
하네스의 정의와 런타임 기능
논문은 모델-하네스 분해(DeepSeek-AI, 2026)를 따라, 하네스 \(H\)를 과제 환경 \(E\)에서 모델 \(M\)의 실행을 관장하는 소프트웨어와 설정으로 정의합니다. 모델 어댑터는 \(H\)에 속하고, 학습된 파라미터는 \(M\)에 속합니다. 실행은 rollout \(\tau\)를 생성하며, 최종 평가 \(J\)가 이를 채점합니다.
\[\tau \sim \mathrm{Run}(M, H, E), \quad y = J(\tau)\]최종 평가 \(J\)에는 채점, 결과 검증, 결과를 결정하는 기록이 모두 포함됩니다. 후보 하네스는 \(H\) 내부의 critic이나 잠정적 검사(provisional check)는 수정할 수 있지만 \(J\)는 수정할 수 없습니다.
하네스가 수행하는 런타임 기능은 다음 일곱 가지로 정리됩니다. 실제 구현에서는 여러 기능이 하나의 모듈에 합쳐질 수 있습니다.
| 컴포넌트 | 런타임 역할 | 메커니즘 |
|---|---|---|
| Agent loop와 실행 제어 | 실행과 종료를 제어 | 모델·도구 호출, 계속·중단·취소, 복구 |
| Tool과 skill 오케스트레이션 | 호출 가능한 기능과 절차를 노출 | 인터페이스와 등록, 디스패치, skill 로딩과 호출 |
| Context construction | 각 모델 입력을 준비 | 시스템 지시문, 도구 설명, 대화 기록, 추가 컨텍스트 |
| Memory와 state 관리 | 호출·세션 간 정보 보존 | 검색과 재사용 메모리, 영속화, 재개, 포크 |
| Context compaction | 입력을 컨텍스트 한도 내로 유지 | 요약, 보존·트리거 정책, 도구 출력 가지치기 |
| Scheduling과 coordination | 여러 실행 루프에 작업 할당 | 서브에이전트 위임, 작업 스케줄링, 백그라운드 작업 |
| Execution infrastructure | 경계를 강제하고 활동을 기록 | 샌드박스, 권한, 승인, 스토리지, 모델 어댑터, 로그와 재생 |
업데이트 루프의 형식화
하네스 자기 진화는 실행 경험을 사용해 \(H\)를 반복적으로 수정하며, \(M\)을 고정한 채 과제 성능이나 자원 효율을 개선하는 것을 목표로 합니다. 라운드 \(k \geq 1\)에서 현재 하네스(incumbent) \(H_{k-1}\)은 궤적, 결과, 사용 가능한 피드백을 포함한 \(b\)개의 rollout 배치를 생성합니다.
\[B_k = \{ \tau_{k,i} \}_{i=1}^{b}, \quad \tau_{k,i} \sim \mathrm{Run}(M, H_{k-1}, E_{k,i})\] \[H_k = \mathrm{Update}(H_{k-1}, B_k)\]업데이트 연산자는 진단(diagnosis), 제안(proposal), 평가(assessment), 채택(admission)을 결합합니다. 과거 피드백, 보관된 후보(archive), 추가 검증 rollout을 활용할 수 있습니다. 채택된 수정이 없으면 기존 하네스를 유지하므로 \(H_k = H_{k-1}\)이 됩니다.
두 가지 요건과 범위
유지된 수정은 이후 실행에 쓰이는 상태를 바꾸고, 그 실행의 피드백이 다시 다음 업데이트를 이끕니다. 이 생애 주기는 두 가지 요건을 필요로 합니다.
| 요건 | 내용 |
|---|---|
| 운영 피드백과 업데이트 연속성 | 자기 실행에서 나온 피드백으로 수정을 알고리즘적으로 구성·선택하고, 추가 업데이트 메커니즘을 유지함. 피드백은 환경, 자동 평가자, 사람이 제공할 수 있고 채택에 사람의 승인이 필요할 수 있음 |
| 실행 간 지속성 | 채택된 수정이 저장되어 다음 실행에서 로드되므로 한 상호작용의 경험이 이후 실행에 영향을 줌 |
두 요건은 반복 가능성(repeatability)에 관한 것이며, 두 요건이 모두 성립하면 한 번의 업데이트 관찰로도 능력을 입증할 수 있습니다. 고정된 규칙으로 로그를 덧붙이거나 컨텍스트를 압축하는 것은 하네스 수정이 아닙니다. 반면 재사용 가능한 절차를 학습하거나 메모리 정책을 바꾸는 것은 하네스 수정에 해당합니다. 업데이트 메커니즘 자체를 수정하면 재귀가 한 단계 더 추가됩니다.
용어도 구분합니다. self-evolution은 업데이트 과정을, self-improvement는 비교를 통해 확인된 개선을 가리킵니다. harness RSI는 연구 분야의 이름이며, 각 수정이 반드시 도움이 된다고 가정하지 않습니다. 가중치만 적응시키는 방식과 업데이트 메커니즘이 없는 스캐폴드는 범위에서 제외되며, 가중치도 학습하는 시스템의 경우 과제 모델을 고정한 상태에서의 하네스 업데이트만 분석합니다.
하네스 자기 진화의 분류 체계
Interpreted State와 Executable Revision
하네스 자기 진화의 선행 사례로는 EURISKO의 휴리스틱 수정과 Gödel Machine의 증명 기반 자기 재작성(Lenat, 1983; Schmidhuber, 2003)이 있습니다. 현대 방법들은 경험적 피드백으로 프롬프트를 수정하고(GEPA 등), 지속 메모리를 통합하며, 고정 모델 주변의 워크플로 명세를 탐색합니다.
논문의 핵심 구분은 interpreted state와 executable revision입니다. 이 구분은 프로그래밍 언어가 아니라 편집된 산출물의 역할에 관한 것입니다.
| 구분 | 수정 대상 | 예시 |
|---|---|---|
| Interpreted-state 업데이트 | 지시문, 저장된 경험, 사전 정의된 기능 위의 과제 수준 조정 | 프롬프트 수정, 메모리 항목 큐레이션, 고정 연산자를 조합하는 워크플로 라우팅 |
| Executable revision | 기능 구현, 런타임 제어 로직, 플러그인 기반 서비스 조합 | 연산자 구현 변경, 조정 메커니즘 자체 변경, 도구 코드 패치 |
워크플로 수정이 고정된 조정 인터페이스를 통해 사전 정의된 연산자의 순서나 라우팅만 바꾼다면 interpreted로 분류됩니다. 연산자를 조합하기만 하는 코드도 여기에 포함됩니다. 반면 연산자 구현이나 조정을 수행하는 런타임 메커니즘을 수정하면, 실행기가 그대로여도 executable revision입니다.
Executable 대상은 컴포넌트 구현, 저장소 수준 제어 로직, 플러그인 조합으로 나뉩니다. 앞의 두 가지는 변이 범위를, 세 번째는 컴포넌트와 런타임 서비스가 어떻게 바인딩되고 교체되는지를 나타냅니다. 플러그인 조합은 컴포넌트 구현과 저장소 수준 로직에 걸칠 수 있으므로 하나의 수정이 여러 범주에 속할 수 있습니다. 또한 업데이트 대상을 분류한다고 해서 그 방법이 앞서 정의한 피드백·연속성·지속성 요건을 충족하는지가 결정되지는 않습니다.
도구와 코드 패치
컴포넌트 수준 수정은 변이를 호출 가능한 절차나 지정된 모듈로 한정하고, 주변 오케스트레이션은 편집 대상에서 제외합니다. 진입점과 I/O 계약이 고정되어 있으면 후보는 컴포넌트 구현을 교체하며, 도구 합성(tool synthesis)은 호출 가능한 인터페이스를 확장할 수도 있습니다.
- Skill 라이브러리는 실행 가능한 함수를 보관해 이후 검색·조합에 사용함(Wang et al., 2024; Yu et al., 2025)
- Self-Harness, HarnessCompass, Agentic Harness Engineering 같은 패치 기반 아키텍처는 trace 기반 변이를 선택된 컴포넌트로 제한함
- 메모리 관리 함수를 편집하면 하네스 기계 장치가 바뀌지만, 저장된 항목을 큐레이션하면 interpreted state가 바뀜
- 후보 아카이브는 이후 탐색을 위한 대안을 보존함(HarnessBank)
- 프로토콜 섭동(protocol perturbation)은 진화된 하네스의 이득이 평가 조건 변화에도 유지되는지 검증함
안정적인 인터페이스는 교체와 국소 검사를 쉽게 하지만, 변경된 출력이나 공유 상태를 통해 회귀가 편집된 모듈 밖으로 전파될 수 있습니다.
저장소와 런타임 로직
저장소 수준 탐색은 컨텍스트 구성, 오케스트레이션 루프, 실행 훅, 복구, 종료까지 수정 대상으로 노출합니다. 이 경계는 편집된 파일 수가 아니라 하네스 컴포넌트 간 상호작용에 대한 제어권에 관한 것입니다. Whole-agent synthesis는 완전한 제어 프로그램을 탐색하고, 저장소 진화는 구현 계보(lineage)를 보관해 이후 선택·수정에 활용합니다(Meta-Harness, SICA, DGM, DarwinX, HGM 등).
공유 컨텍스트, 스케줄링, 복구를 바꾸면 수정되지 않은 다른 컴포넌트의 입력과 실행 가정까지 달라질 수 있습니다. 이러한 결합(coupling) 때문에 편집 제약, 전이 지향적 채택(transfer-oriented admission), 배포 검사가 필요합니다. 아카이브에 포함되는 것은 후보를 탐색용으로 보존하는 것일 뿐이며, 실제 채택은 선택된 프로그램을 이후 과제에 쓰이는 런타임으로 승격시키는 단계가 추가로 필요합니다. 최적화기의 프롬프트, 훅, 도구까지 변이 대상으로 확장하면 업데이트 메커니즘 자체가 진화 가능해집니다. 내보낸(exported) 프로그램은 배포 시 업데이트 메커니즘을 유지할 때만 지속적 생애 주기 요건을 충족합니다.
사례로 HarnessOpt는 SkillOpt-Lite 연구를 skill 편집에서 런타임 수정으로 확장해, 스프레드시트 미리보기, 출력 검사, 도구 실패 후 복구를 개선했습니다(Shen et al., 2026a). 아래는 SpreadsheetBench 정확도(%)입니다.
| 모델 | Initial | SkillOpt | SkillOpt-Lite | HO only | HO + skill |
|---|---|---|---|---|---|
| GPT-5.4-nano | 29.89 | 51.60 | 66.19 | 76.51 | 77.58 |
| GPT-5.4-mini | 28.21 | 47.50 | 73.31 | 81.14 | 82.56 |
| GPT-5.4 | 39.86 | 61.50 | 79.36 | 83.63 | 85.05 |
| GPT-5.5 | 37.37 | 76.20 | 79.72 | 83.63 | 85.77 |
HO는 HarnessOpt를 의미합니다. GPT-5.4-nano에 HarnessOpt와 skill을 함께 적용하면 77.58%로, SkillOpt를 적용한 GPT-5.5(76.20%)를 넘어섭니다. 네 모델 모두에서 HarnessOpt + skill은 SkillOpt-Lite 대비 5.69~11.39%p 향상되었습니다. 논문은 이 역전 현상이 모델-하네스 페어링을 보여주지만, 동일 비용 조건에서의 우위를 입증하는 것은 아니라고 명시합니다.
Everything Is a Plugin
플러그인 아키텍처는 선언된 인터페이스, 의존성 제약, 생애 주기 연산을 통해 변이를 조직합니다. 편집 대상은 컴포넌트 구현일 수도 있고, 메모리 저장소·도구 디스패치·agent loop 같은 런타임 서비스를 어떤 구현이 제공할지 결정하는 바인딩일 수도 있습니다. 따라서 이 수준의 조합은 고정 연산자 사이의 과제 수준 라우팅을 넘어섭니다. 커널 정의 기반(kernel-defined substrate)은 서비스의 연결·마운트·교체 방식을 명시하고, 피드백 기반 시스템은 인터페이스와 검증 제약 아래에서 타입이 지정된 프리미티브, 버전 관리 리소스, 범위가 지정된 모듈을 수정합니다(HarnessX 등).
Everything Is a Plugin(EIP)은 이를 실행 중에 생성·검증·마운트되는 기능까지 확장합니다. 인터페이스 계약은 호환성 검사와 컴포넌트 교체를 지원하지만, 행동 격리나 안전한 채택을 보장하지는 않습니다. 채택에는 여전히 조합된 행동의 검증이 필요합니다.
DSH Everything을 사용하면 Codex 플러그인이 실행 중 도구를 생성하고 이후 과제를 위해 보관할 수 있습니다(Shen, 2026; Pan, 2026). 시뮬레이션된 사무 워크로드에서는 지역별 회사의 스프레드시트가 언어와 내용은 다르지만 비슷한 계산을 공유합니다. Codex는 일괄 조회(batch-lookup)와 요약 도구를 생성했으며, 첫 과제 비용은 다음과 같습니다.
| 지표 | Baseline | EIP |
|---|---|---|
| Tool calls | 13 | 3 |
| Tokens | 41,119 | 47,572 |
| Wall time (s) | 15.49 | 24.00 |
첫 과제에서 도구 호출은 13회에서 3회로 줄었지만, wall time은 54.9%, 토큰은 15.7% 증가했습니다. 별도로 보고된 누적 시리즈(EIP - baseline)에서는 두 번째 과제부터 절감이 나타납니다.
| 과제 수 | 토큰 차이 | Wall time 차이 (s) |
|---|---|---|
| 1 | +4,895 | +6.74 |
| 2 | -19,907 | -3.97 |
| 3 | -47,375 | -8.44 |
| 4 | -77,542 | -13.87 |
| 5 | -110,351 | -22.97 |
음수는 절감을 의미하며, 다섯 과제 후 누적 110,351 토큰과 22.97초가 절감되었습니다. 다만 첫 과제 합계로 계산하면 6,453 토큰과 8.51초 증가인데, 누적 시리즈 1행은 4,895 토큰과 6.74초로 보고되어 있습니다. 논문은 이 불일치가 해소되지 않았기 때문에 두 보고를 하나의 비용 궤적으로 취급할 수 없다고 밝힙니다.
같은 출처는 LiveBrowseComp 결과도 보고합니다.
| 모델 그룹 | 모델 / 하네스 | 점수 |
|---|---|---|
| 40B 미만 | XYZ + dsh-everything | 51.39 |
| 40B 미만 | XYZ-Aquila-mini | 48.7 |
| 40B 미만 | Nex-N2-mini | 41.4 |
| 40B 미만 | MiroThinker 1.7 mini | 34.9 |
| 40B 미만 | apodex-mini | 32.8 |
| 40B 미만 | Agents-A1 | 29.6 |
| 400B 미만 | XYZ-Aquila-pro | 53.7 |
| 400B 미만 | Nex-N2-Pro | 50.4 |
| 400B 미만 | MiroThinker 1.7 | 34.1 |
| 1T 초과 또는 비공개 | DeepSeek V4-Pro | 38.3 |
| 1T 초과 또는 비공개 | Kimi-K2.6 | 31.7 |
XYZ + dsh-everything는 51.39점으로 40B 미만 6개 항목 중 1위, 전체 11개 항목 중 2위입니다. 점수 단위는 출처에서 명시되지 않았습니다. 논문은 이 결과가 재사용에 따른 잠재적 절감과 모델-하네스 페어링을 보여줄 뿐이며, 인과적인 플러그인 이득과 일반적인 재사용 효과를 입증하려면 반복 실행, 동일 예산, 동일 과제 품질 조건이 필요하다고 강조합니다.
하네스 자기 진화의 이론
많은 하네스 최적화기는 편집에 대한 gradient가 아니라 실행 기반 제안으로 이산적인 지시문, skill, 코드를 탐색합니다. 논문은 진화 알고리즘(EA)으로 탐색 구조를 설명하고, continual-learning 분석으로 경험적 이득을 일반화 및 능력 유지와 연결합니다.
진화 알고리즘 관점의 하네스 탐색
EA 관점은 업데이트를 네 가지 측면으로 분리합니다.
| 측면 | 의미 |
|---|---|
| Representation | 변경 가능한 상태의 표현 |
| Variation | 편집을 생성하는 방식 |
| Assessment | 편집의 적합도(fitness) 평가 |
| Selection | 유지할 상태의 선택 |
Trace와 비평(critique)은 variation을 안내하고, 채택은 그 결과 평가에 따라 결정됩니다. 로컬 엘리트주의(local elitism)는 incumbent 주변으로 탐색을 집중시키고, 아카이브 기반 다양성은 대안 계보를 보존하며, Pareto 선택은 상충하는 목표를 균형 있게 다룹니다. 논문은 여덟 가지 알고리즘 대응 관계를 정리합니다.
| 탐색 구조 | 대응 근거와 한계 | 대표 방법 |
|---|---|---|
| Elitist (1+1) search | 후보 하나를 incumbent와 비교해 선택된 상태를 유지. MCE는 이력 기반 (1+1)-ES를 명시 | SICA, MCE, SkillOpt, SkillOpt-Lite, SkillClaw |
| Elitist (1+λ) search | 한 부모에서 여러 편집을 평가. 이후 병합은 canonical (1+λ)-ES의 단일 생존자 규칙과 다름 | Self-Harness |
| Archive-based search | 프로그램 계보를 보관해 부모 선택과 코드 변이에 사용. tree 기반 GP 연산자를 의미하지 않음 | DGM, DarwinX, HGM |
| Recombination | 이전 후보의 상보적 요소를 결합. MCE는 agentic crossover를 정의 | DarwinX, HarnessCompass, Self-Harness, MCE, Trace2Skill |
| Quality-diversity | 후보를 의미적 아카이브 셀로 묶고 로컬 엘리트 유지. HarnessBank는 MAP-Elites 부모 선택을 수정하고 검증 게이트를 추가 | HarnessBank |
| Cooperative coevolution | 컴포넌트를 따로 최적화한 뒤 결합. 독립 진화 하위 집단을 명시적으로 유지하지는 않음 | HarnessCompass |
| Pareto selection | 비용-성능 frontier나 다중 채택 기준으로 선택. NSGA-II 같은 완전한 다목적 EA를 의미하지 않음 | Meta-Harness, Self-Harness, SkillMOO |
| Bandit-guided evolution | Thompson sampling으로 진화 탐색 예산 할당. 계보 확장과 후보 평가를 모두 포함 | HGM |
범주는 서로 겹칠 수 있으며, 대응 관계가 원래 알고리즘과의 동등성을 의미하지는 않습니다. 세 메커니즘 모두 경험적 적합도로 선택하므로 채택된 수정이 과적합되거나 기존 능력을 잊을 수 있고, 이것이 다음 절의 일반화·유지 분석의 동기가 됩니다.
Continual PAC-Learning 관점의 일반화와 유지
지속적인 능력을 위해서는 일반화, 망각, 채택 불확실성을 통제해야 합니다. Continual PAC-learning은 메모리 제약 하의 유지를 연구하는데(Chen et al., 2022), 논문은 명시적 샘플링 가정 아래 stability와 concentration을 사용합니다.
진화 상태와 샘플링은 다음과 같이 설정됩니다. \(X_k\)는 라운드 \(k\) 이후의 하네스, skill, 아카이브, 피드백 메모리를 기록하며, \(H_k = \mathrm{Deploy}(X_k)\), \(X_k = A_k(X_{k-1}, D_k; U_k)\)입니다. \(D_k\)는 외생적 분포 \(\mathcal{D}_k\)에서 라운드 내·라운드 간 독립적으로 뽑은 \(n_k\)개 과제를 포함한다고 가정합니다. \(U_k\)의 보조 무작위성과 외부 평가 샘플은 이 추출과 독립이며, 과제에서 유래한 피드백은 업데이트 과정의 일부로 남습니다. 모델과 평가자를 고정하고, \(\ell(H, z) \in [0, 1]\)을 실행 무작위성에 대해 평균한 손실로 둡니다.
\[R_s(H) = \mathbb{E}_{z \sim \mathcal{D}_s} \, \ell(H, z), \qquad \hat{R}_s(H) = \frac{1}{n_s} \sum_{i=1}^{n_s} \ell(H, z_{s,i})\]과제 교체에 대한 안정성(stability under task replacement)
알고리즘적 안정성은 과제 민감도를 일반화와 연결합니다(Shalev-Shwartz et al., 2010). \(z_{s,i}\)를 \(\mathcal{D}_s\)에서 새로 뽑은 독립 샘플로 교체하고, 피드백·아카이브·선택을 포함한 모든 후속 업데이트를 결합된 무작위성(coupled randomness) 아래 다시 실행해 \(H_k^{(s,i)}\)를 얻습니다. \(s \leq k\)에 대해 안정성 계수를 다음과 같이 정의합니다.
\[\beta_{s,k} = \frac{1}{n_s} \sum_{i=1}^{n_s} \mathbb{E} \left| \ell(H_k, z_{s,i}) - \ell(H_k^{(s,i)}, z_{s,i}) \right|\]Replace-one 교환 가능성(exchangeability)으로부터 다음이 성립합니다.
\[\left| \mathbb{E}[R_s(H_k) - \hat{R}_s(H_k)] \right| \leq \beta_{s,k}\]이 상한은 기대 일반화 격차의 크기를 통제할 뿐, 개별 실행에서의 격차를 통제하지는 않습니다. 또한 코드 편집이 작다고 해서 전체 업데이트 과정이 안정적이라는 의미는 아닙니다.
유지와 누적 회귀(retention and accumulated regressions)
\(F_{s,k} = R_s(H_k) - R_s(H_s)\)로 정의하며, 양수는 망각(forgetting), 음수는 backward transfer를 의미합니다. 고정된 회귀 예산 \(\epsilon_{s,u}\)에 대해 이후 각 전이가 \(R_s(H_u) - R_s(H_{u-1}) \leq \epsilon_{s,u}\)를 만족한다고 가정합니다. Telescoping을 적용하면 \(F_{s,k} \leq \sum_{u=s+1}^{k} \epsilon_{s,u}\)가 되고, 라운드 \(s\)에서의 안정성과 결합하면 다음을 얻습니다.
\[\mathbb{E} R_s(H_k) \leq \mathbb{E} \hat{R}_s(H_s) + \beta_{s,s} + \sum_{u=s+1}^{k} \epsilon_{s,u}\]\(\beta_{s,s}\)는 라운드 \(s\) 전체 업데이트의 민감도를 측정합니다. 과거 위험 예산은 안정성에서 도출되는 것이 아닌 별도의 가정이며, 그 허용치는 누적됩니다. 이를 확인하려면 병합된 편집과 공유 라우터를 포함해 배포된 구성 전체에 대한 그룹별 불확실성 통제가 필요합니다.
새 검증 데이터를 이용한 채택 규칙
\(\bar{R}_k(H) = k^{-1} \sum_{s=1}^{k} R_s(H)\)를 균등한 과거 혼합 분포에 대한 위험으로 둡니다. \(T\)개 라운드 각각에서 최대 \(K\)개 후보를 고정한 뒤, 이 혼합 분포에서 \(m\)개의 독립 과제로 구성된 새 검증 집합 \(V_k\)를 추출합니다. \(V_k\)는 이전 이력이 주어졌을 때 후보 구성과 독립입니다. 후보 \(H\)에 대해 실제 위험 차이와 그 추정량을 정의합니다.
\[\Delta_k(H) = \bar{R}_k(H) - \bar{R}_k(H_{k-1}), \qquad \hat{\Delta}_k(H) = \frac{1}{m} \sum_{z \in V_k} \left[ \ell(H, z) - \ell(H_{k-1}, z) \right]\]짝지어진 차이(paired difference)는 \([-1, 1]\) 범위에 있어 폭이 2입니다. 조건부 Hoeffding 부등식과 최대 \(KT\)회 비교에 대한 union bound를 적용하면, 확률 \(1 - \delta\) 이상으로 모든 비교에서 동시에 다음이 성립합니다(Hoeffding, 1963).
\[\Delta_k(H) \leq \hat{\Delta}_k(H) + \sqrt{\frac{2 \ln(KT / \delta)}{m} }\]채택 규칙은 이 상한이 음수인 후보만 받아들이는 것입니다. \(V_k\)를 참고해 만든 편집이나 병합은 다시 새 검증이 필요하며, 혼합 분포에서의 이득이 그룹별 유지를 보장하지는 않습니다. HarnessBank는 별도 최종 테스트 전에 학습 과제를 스크리닝에 재사용하고, Self-Harness는 보류된 회귀 split을 재사용합니다. 논문은 이러한 탐색 단계 검사가 가정된 독립성을 충족하지 못한다고 지적합니다. 검증 데이터를 비밀로 유지하거나 비교 횟수를 보정해도 적응적 의존성(adaptive dependence)은 제거되지 않으므로, 새 샘플이나 adaptive-valid 추론(Dwork et al., 2015a)을 사용해야 합니다.
보장의 범위
표본 크기는 독립 과제 수로 결정되며, rollout을 추가하면 실행 노이즈는 줄지만 과제 수가 늘지는 않습니다. 위 부등식은 독립 과제 클러스터에서 얻은 \([-1, 1]\) 범위의 불편(unbiased) 짝지어진 손실 추정치에도 적용됩니다. 상관된 세션은 그룹화나 의존성을 고려한 분석이 필요하고, 비가법적(non-additive) 지표는 별도의 concentration 논증이 필요합니다. 채택은 과거 혼합 분포에서 인증되는 것이며, 임의의 미래 분포에 대한 보장이 아닙니다.
비교되는 각 하네스에 대해 평가자 위험과 목표 위험의 차이가 최대 \(\eta\)라면, 목표 위험 개선의 충분 조건은 다음과 같습니다.
\[\hat{\Delta}_k(H) + \sqrt{\frac{2 \ln(KT / \delta)}{m} } + 2\eta \lt 0\]이 불일치 상한은 실행 가능한 검사나 독립적인 사람 평가를 근거로 해야 합니다. 그러한 상한이 없으면 인증은 평가자가 정의한 손실에만 해당합니다.
응용 분야와 사회적 영향
지속적인 하네스 수정은 과제 간에 학습된 절차를 보존합니다. 논문은 다섯 가지 응용 환경에서 지식 공유, 신뢰성, 책임 문제를 검토합니다.
| 응용 분야 | 기대 효과 | 위험 | 권고 사항 |
|---|---|---|---|
| 개인 작업 공간 | 지시문·메모리·skill이 프로젝트 관례와 사용자 선호를 보존하고, 플레이북 수정과 궤적 증류로 반복 설정·진단을 줄임 | 임시 우회책이 상시 규칙이 되고, 주입된 지시문이 과제 간에 지속되며, 성공한 실행에서도 해롭게 일반화되는 skill이 생길 수 있음 | 검토 가능한 변경과 산출물 출처(provenance) 관리, 파생 skill·메모리·캐시까지 포함하는 복구 |
| 기업 자동화 | 공유 skill 라이브러리로 장애 진단, API 적응, 복구 절차를 팀 간 재사용 | 다른 권한·데이터 가정을 가진 팀으로 로컬 우회책이 확산되고, 공유된 결함 절차가 탐지되지 않는 상관 오류를 유발(알고리즘적 단일 경작 문제의 확장) | 버전 연결 배포 기록과 단계적 롤아웃, 소비자 식별·영향 버전 회수·의존 워크플로 복원 |
| 과학적 발견 | 지속 설정, 실패 보고, 탐색 휴리스틱으로 이전 시도 재사용 | 잠정 검사나 불완전한 외부 지표를 악용하는 specification gaming이 독립 측정에서 실패하는 절차를 강화하고, 장비 시간·시약·전문가 노력을 소모 | 최종 평가 J를 편집 대상 밖에 두고, 독립 측정과 재현으로 과학적 타당성 확보 |
| 로보틱스와 체화 상호작용 | EMHO, RoboRSI 등 고정 모델 주변의 계획·관찰·복구 수정과 로봇 skill 계층 재사용 | 채택된 액션 코드 오류가 과도한 힘, 안전하지 않은 복구, 잘못된 접촉 행동으로 이어지며, 소프트웨어 롤백은 변형·마모·부상을 되돌릴 수 없음 | 비상 정지, 힘·속도 제한, 권한 검사를 편집 대상 밖에 두고, 독립 액션 검사와 단계적 시험 수행 |
| 공공 서비스와 임상 시스템 | 분류, 자격 라우팅, 사건 처리 절차에 변화하는 지침을 검사 가능한 방식으로 반영 | 잘못된 선호가 지속 규칙이 되어 제도적 불이익을 재생산하고, 롤백으로는 놓친 치료 시기나 거부된 수급권을 복구할 수 없음 | 자격 있는 전문가의 검증·승인, 결정별 규칙 버전·근거·채택 이력 기록과 검토·이의 제기·구제 절차 |
향후 연구 방향
모델-하네스 공동 설계
HarnessOpt 사례의 역전 현상은 적응 노력을 모델과 런타임 사이에 어떻게 배분할지에 대한 연구를 요구합니다. 예산을 맞춘 연구에서 모델 선택, skill 최적화, 런타임 수정, 가중치 업데이트를 비교하되, 적응 비용과 이후 실행 비용을 모두 고려해야 합니다. 체크포인트 간에 고정된 하네스, 전이된 하네스, 재진화된 하네스를 시험하면 전이 가능한 이득과 추가 진화가 필요한 이득을 구분할 수 있습니다. 공동 적응에서는 어떤 업데이트 순서가 이전 능력을 보존하는지도 검토해야 합니다.
분산 실행과 엣지 인프라
런타임 수정은 실행 비용과 컴포넌트의 최적 배치 위치를 함께 바꿀 수 있습니다. Shen et al.(2023)은 Jetson Nano 클라이언트, RTX 4090 엣지 서버, Azure를 분류 10%, 캡셔닝 40%, VQA 50% 워크로드에서 비교했습니다. 클라이언트-엣지 실행은 expert 네트워크를 분할하고 과제 관련 특징을 압축하며, 엣지 전용 기준선은 무손실 압축된 입력 이미지를 전송합니다. 이 연구에서 클라이언트-엣지 공동 추론은 100~500 KB/s 대역에서 지연 시간이 가장 짧았습니다. 향후 연구는 네트워크 조건과 업데이트 빈도에 따라 배포 방식을 비교할 때 하네스 합성·검증·배포 비용을 포함하고, 동일 품질과 프라이버시 제약 아래에서 비교해야 합니다.
플러그인 생성과 재사용
EIP 사례의 생성 오버헤드와 이후 절감은 플러그인을 언제 재사용·재검증·재생성·폐기할지에 대한 생애 주기 기반 결정을 요구합니다. 동일 품질에서 생성·검증 비용을 회수하는 데 필요한 관련 과제 수를 수리 및 의존성 유지 비용까지 포함해 측정해야 합니다. 과제 유사도, 재사용 빈도, 인터페이스 변경을 변화시켜 보면 보관된 도구가 언제 유용하고 언제 재생성이 나은지 드러납니다. 국소적으로 유효한 플러그인도 공유 상태나 다른 컴포넌트 행동을 바꿀 수 있으므로 채택 시에는 결과 조합을 검증해야 합니다.
분포와 평가자 drift 하의 지속 검증
타임스탬프가 있는 과제, 버전이 고정된 환경, 난이도 보정은 하네스 이득과 워크로드 drift를 구분하는 데 도움이 됩니다. 채택에는 새 독립 과제가 필요하고, 적응적 재사용에는 별도의 통계적 통제가 필요합니다. 재사용된 보정 과제는 새 채택 근거를 대체할 수 없습니다. Judge 편향이 있으므로 평가자가 바뀐 뒤에는 \(\eta\)를 독립적으로 재보정해야 합니다. J를 보호한다고 specification gaming이 방지되지는 않으며, 보정·채택·회귀 검사 사이의 예산 배분은 여전히 열린 문제입니다.
자기 수정 시스템의 안전 경계
외부 안전장치는 모델 정렬(alignment)을 보완합니다. 컨텍스트 제거와 전이 테스트로 해로운 skill 일반화를 조사할 수 있고, 데이터 흐름 및 도구 순서 제약은 런타임 강제를 지원합니다. 논문은 최소 권한, 시간 제한 권한 부여, 격리를 권고하며, 기능을 생성하는 것이 권한을 부여하는 것이어서는 안 된다고 강조합니다. 롤백은 복구 모델 범위 내의 효과만 되돌릴 수 있으므로, 중대한 행동에는 권한 검사와 물리적·지출 한도가 필요합니다. 조합된 행동을 검증하고 의존성 변화에 따라 권한을 회수하는 문제는 아직 열려 있습니다. 방어 기법은 공격 성공률, 격리 시간, 정상 작업 오버헤드로 평가해야 합니다.
한계와 주의사항
- 이론적 보장은 모두 명시적 가정에 조건부임. 과제의 독립 추출, 고정된 모델과 평가자, 외생적 분포 등이 성립해야 함
- 안정성 상한은 기대 일반화 격차만 통제하며 개별 실행의 격차는 통제하지 않음
- 유지 상한의 회귀 예산은 안정성에서 도출되지 않는 별도 가정이고, 라운드가 지날수록 누적됨
- 고확률 채택 규칙은 과거 혼합 분포에 대해서만 인증되며, 임의의 미래 분포나 그룹별 유지를 보장하지 않음
- HarnessBank, Self-Harness 등 기존 방법의 탐색 단계 검사는 가정된 독립성을 충족하지 못함
- 평가자와 목표 위험의 불일치 상한이 없으면 인증은 평가자가 정의한 손실에만 해당함
- 본문의 정량 사례(SpreadsheetBench, EIP 비용, LiveBrowseComp)는 모두 선행 연구에서 인용한 것으로, 동일 비용 비교나 인과적 이득을 입증하지 않음
- EIP의 첫 과제 비용과 누적 시리즈 1행 사이에는 해소되지 않은 수치 불일치가 있음
- 소프트웨어 롤백은 물리적 손상, 놓친 치료 시기, 데이터 노출 같은 비가역적 결과를 복구하지 못함
결론
이 논문은 하네스 자기 진화를 피드백 기반 수정, 지속적인 업데이트 능력, 고정 모델 주변의 지속성이라는 세 요소로 정의합니다. 변이 경계를 탐색 및 채택과 분리하고, 기대 일반화, 예산 제약 하의 유지, 새 검증 데이터 기반의 고확률 채택을 서로 다른 개념으로 구분합니다.
지속적인 수정은 지식을 보존하지만 되돌릴 수 없는 결과를 동반한 오류를 확산시킬 수도 있습니다. 따라서 실제 배포에는 분포와 평가자 drift를 고려한 지속 검증과 함께, 학습, 런타임 권한, 중대한 행동에 대한 독립적인 통제가 필요하다는 것이 논문의 결론입니다.