Anthropic AI 에이전트 자율성 측정 연구 - 에이전트 절반이 코딩, 사용자 신뢰는 점진적 증가

목차

1. 개요
2. 방법론
   • 데이터 소스
   • 위험도 및 자율성 평가 체계
3. 주요 결과
   • 코딩이 에이전트 활동의 절반을 차지
   • 자율 작업 시간의 확대
   • 사용자 경험에 따른 감독 방식 변화
   • 에이전트의 자기 조절 능력
   • 안전성 지표
4. 한계와 주의사항
5. 결론
6. Reference

개요

Anthropic이 2026년 2월 18일 발표한 연구 논문 “Measuring AI agent autonomy in practice”는 AI 에이전트가 실제로 어떻게 사용되고 있는지를 대규모 데이터로 분석한 결과를 담고 있다. Claude Code와 공개 API를 통한 수백만 건의 인간-에이전트 상호작용을 프라이버시 보호 방법론으로 분석했다. 이론적 능력이 아닌 실제 배포 환경에서의 에이전트 자율성과 사용 패턴을 다룬다는 점에서 의미가 크다.

방법론

데이터 소스

이 연구는 두 가지 상호 보완적인 데이터 소스를 활용했다.

데이터 소스	특성	장점	한계
공개 API	수천 개 고객의 개별 도구 호출 분석	넓은 범위의 배포 패턴 파악 가능	완전한 에이전트 워크플로우 추적 불가
Claude Code	시작부터 끝까지 완전한 세션 추적	심층적 분석 가능	소프트웨어 개발에 편중된 단일 제품

위험도 및 자율성 평가 체계

연구팀은 도구 클러스터에 적용하는 1~10 스케일의 위험도 및 자율성 점수 시스템을 개발했다. 가능한 경우 내부 데이터와 대조하여 검증했다.

주요 결과

코딩이 에이전트 활동의 절반을 차지

API를 통한 에이전트 도구 호출의 약 50%가 소프트웨어 엔지니어링 작업에 집중되어 있다. 비즈니스 인텔리전스, 고객 서비스, 영업, 금융, 전자상거래 등 다른 분야는 한 자릿수 비율에 머문다. Anthropic은 이를 “초기 도입 단계”로 특성화한다. 개발자들이 도입을 주도하고 있으며, 다른 산업은 실험을 시작하는 수준이다.

다만 보안, 금융, 의료 분야에서의 사용도 이미 감지되고 있어 향후 정책적 과제가 될 것으로 전망된다.

자율 작업 시간의 확대

인간 개입 없이 지속되는 최장 연속 작업 세션이 3개월(2025년 10월~2026년 1월) 동안 거의 두 배로 늘었다.

지표	2025년 10월	2026년 1월
99.9 백분위 최장 세션	25분 미만	45분 이상

이 완만한 증가가 모델 릴리스를 가로질러 나타난다는 점이 주목할 만하다. 연구팀은 “기존 모델이 실제로 발휘하는 것보다 더 많은 자율성을 수행할 수 있는 능력을 갖추고 있다”고 분석했다. 모델 성능 향상뿐 아니라 사용자 신뢰 축적, 더 야심찬 작업 할당, 제품 개선 등 복합적 요인이 성장을 주도하고 있다.

사용자 경험에 따른 감독 방식 변화

사용자의 경험이 쌓이면서 감독 방식이 근본적으로 변화한다.

사용자 유형	자동 승인 비율	인간 개입 비율
초보 사용자	약 20%	약 5%
숙련 사용자 (약 750 세션)	40% 이상	약 9%

초보 사용자는 매 행동을 사전 승인하는 방식을 택한다. 숙련 사용자는 완전 자율 모드로 전환하되, 필요할 때 개입하는 모니터링 기반 감독으로 이동한다. 이는 “사전 승인”에서 “사후 모니터링”으로의 패러다임 전환이다. 흥미로운 점은 자동 승인 비율이 높아지는 동시에 인간 개입 비율도 함께 상승한다는 것이다. 사용자가 더 복잡한 작업을 맡기면서 선별적 개입의 빈도도 늘어나는 것으로 해석된다.

에이전트의 자기 조절 능력

Claude Code는 복잡한 작업에서 인간이 개입하는 것보다 두 배 이상 높은 빈도로 스스로 작업을 중단하고 명확화를 요청한다. 에이전트가 자발적으로 멈추는 주요 이유는 다음과 같다.

중단 사유	비율
대안적 접근 방식 제시	35%
진단 정보 요청	21%
모호한 요청에 대한 명확화	13%
누락된 인증 정보 요청	12%

이는 모델이 불확실성을 인식하고 적절히 인간의 판단을 구하도록 훈련되었음을 보여준다.

안전성 지표

현재 에이전트 배포 환경의 안전성을 보여주는 수치들이 있다.

• 도구 호출의 80%에 최소 하나의 안전장치가 포함
• 73%에 인간이 관여
• 되돌릴 수 없는 작업은 전체의 0.8%에 불과
• 대부분의 배포가 저위험이며 되돌릴 수 있는 작업

한계와 주의사항

이 연구에는 몇 가지 중요한 한계가 있다.

• 단일 모델 제공자(Anthropic)의 관점만 반영
• 특정 시기(2025년 말~2026년 초)의 데이터
• 후속 인간 검토 프로세스에 대한 가시성 부재
• 프로덕션 작업과 평가 활동을 구분할 수 없음
• API 샘플링에서 다단계 워크플로우가 과대 대표될 가능성

연구팀은 사전 배포 평가만으로는 실제 배포 역학을 포착할 수 없다고 강조한다.

결론

이 연구의 핵심 결론은 에이전트 자율성이 모델 능력, 사용자 전략, 제품 설계 간의 상호작용을 통해 형성된다는 것이다. “에이전트에 대한 효과적인 감독은 새로운 형태의 배포 후 모니터링 인프라와 인간과 AI가 함께 자율성과 위험을 관리하는 새로운 인간-AI 상호작용 패러다임을 필요로 할 것”이라고 연구팀은 밝혔다.

정책 입안자에게는 모든 행동에 대한 승인을 요구하는 것과 같은 특정 상호작용 패턴을 규정하지 말 것을 권고한다. 감독의 효과는 인간을 효과적으로 모니터링하고 개입할 수 있는 위치에 배치하는 데 달려 있기 때문이다. 제품 개발자에게는 에이전트 행동에 대한 신뢰할 수 있는 가시성과 간단한 개입 메커니즘을 설계할 것을 권고한다.

Reference

• Measuring AI agent autonomy in practice - Anthropic Research