LangChain 스킬 공개 - Claude Code 통과율을 25%에서 95%로 끌어올린 방법
목차
개요
LangChain이 AI 코딩 에이전트를 위한 첫 번째 스킬 세트를 공개했다. 스킬을 적용한 결과, Claude Code의 작업 통과율이 극적으로 향상되었다. LangChain 작업 기준 25%에서 95%로, LangSmith 작업 기준 17%에서 92%로 성능이 개선되었다.
스킬이란 무엇인가
스킬은 코딩 에이전트의 성능을 높이기 위한 지시문과 스크립트 모음이다. 핵심 원리는 “점진적 공개(Progressive Disclosure)”에 있다. 필요한 시점에 필요한 정보만 제공하는 방식이다.
모든 정보를 한꺼번에 제공하면 오히려 성능이 저하된다. 스킬은 이 문제를 해결하기 위해 정보를 단계적으로 노출하는 구조를 채택했다.
성능 개선 결과
스킬 적용 전후의 성능 차이는 다음과 같다.
| 대상 | 스킬 적용 전 | 스킬 적용 후 | 개선폭 |
|---|---|---|---|
| LangChain 작업 | 25% | 95% | +70pp |
| LangSmith 작업 | 17% | 92% | +75pp |
두 작업 모두에서 70pp 이상의 통과율 향상을 보였다.
공개된 스킬 목록
LangChain 스킬
LangChain 스킬은 총 11가지 유형으로 구성되어 있다. 주요 항목은 다음과 같다.
- Agent 루프 기본 사항
- LangGraph의 Human-in-the-Loop 및 내구성 있는 실행(Durable Execution)
- Deep Agents 패키지 사용법
LangSmith 스킬
LangSmith 스킬은 3가지 유형으로 구성되어 있다.
- 트레이싱 추가
- 데이터셋 구축
- 에이전트 평가
추가로 LangSmith CLI도 함께 공개되었다. 터미널에서 트레이싱, 데이터셋 관리, 실험 실행을 처리할 수 있다.
스킬 평가에서 발견한 사실들
스킬 평가 과정에서 여러 흥미로운 사실이 발견되었다.
| 항목 | 결과 |
|---|---|
| 스킬 적용 시 완료율 | 82% |
| 스킬 미적용 시 완료율 | 9% |
| 관련 스킬 호출률 | 때때로 70%에 그침 |
스킬이 있어도 에이전트가 항상 관련 스킬을 호출하는 것은 아니었다. 관련 스킬의 호출률이 때때로 70% 수준에 머물렀다.
AGENTS.md에 사용 가이드를 추가하면 일관성이 개선되었다. 또한 유사한 스킬이 많을수록 오류가 증가했다. 스킬 수를 20개에서 12개로 줄이자 정확도가 향상되었다.
자동 개선 루프
이번 발표에서 가장 주목할 만한 인사이트는 에이전트가 자체적으로 개선 사이클을 실행할 수 있다는 점이다. 코딩 에이전트가 자신의 실행 트레이스를 분석하고, 문제를 요약하며, 테스트 데이터셋과 평가기를 생성할 수 있다.
LangChain은 향후 에이전트 개선이 터미널 기반 에이전트에 의해 주도되는 미래를 구상하고 있다.
결론
LangChain의 스킬 공개는 AI 코딩 에이전트의 성능 향상에 있어 중요한 이정표다. 점진적 공개 원칙을 통해 정보를 적절한 시점에 제공하는 것만으로도 통과율을 25%에서 95%로 끌어올릴 수 있었다. 스킬 수를 적절히 관리하고, AGENTS.md와 결합하면 더 안정적인 결과를 얻을 수 있다. 자동 개선 루프의 가능성은 에이전트가 스스로 진화하는 미래를 보여준다.