Agent Memory Distillation: 계층적 교사 메모리로 소형 LLM 에이전트를 끌어올리기
목차 개요 문제 의식 소형 에이전트의 메모리 빈곤 단순 교사 메모리 전달이 실패하는 이유 관련 연구 방법론 문제 정식화 세 가지 계층 메모리 생성 능동 주입과 반응형 주입 실험 설정 주요 결과 벤치마크 정확...
목차 개요 문제 의식 소형 에이전트의 메모리 빈곤 단순 교사 메모리 전달이 실패하는 이유 관련 연구 방법론 문제 정식화 세 가지 계층 메모리 생성 능동 주입과 반응형 주입 실험 설정 주요 결과 벤치마크 정확...
목차 개요 배경과 문제의식 기존 문장 임베딩 방식의 두 갈래 풀링과 마지막 은닉 상태의 한계 방법론 모델 구조 Self-Attention 메커니즘 다중 hop과 2D 행렬 임베딩 페널티 항 시각화 방법 관련 연구...
목차 개요 배경과 관련 연구 기존 연구의 초점은 공간 정보였다 어텐션과 게이팅 메커니즘 방법론 SE 블록의 전체 구조 Squeeze: 전역 정보 임베딩 Excitation: 적응형 재보정 기존 아키텍처와의 통합 모델 복잡도와 연산...
목차 개요 배경 핵심 변경사항 스테이트리스 코어 전환 server/discover와 버전 협상 MRTR: 다중 왕복 요청 패턴 알림 채널의 재설계 인프라 친화적 헤더와 캐싱 인증과 보안 강화 Tasks 확장으로의 분리 Deprecate...
목차 개요 기존 파운데이션 모델의 병목 스케일링과 선형 어텐션의 한계 계층 구조와 단방향 잔차의 문제 Mobius-v0 아키텍처 Backward Residual Connection Dynamic Latent Reasoning 지식 벡터와 추론 연산자의...
목차 개요 배경과 문제의식 순환 모델의 구조적 제약 합성곱 기반 대안의 한계 방법론 인코더-디코더 스택 Scaled Dot-Product Attention Multi-Head Attention 모델 내 어텐션의 세 가지 사용처 P...
목차 개요 배경 분산 서빙과 디코드 플러그인화 TileRT의 목표 핵심 내용 제로 변경 코존재 설계 아키텍처 구성 핸드오프 메커니즘 성능 평가 설치와 실행 절차 의미와 시사점 디코드 풀 선택 ...
목차 개요 배경 Chinchilla 가법 구조의 구조적 결함 손실 표면은 실제로 결합되어 있다 방법론 Skaling 법칙의 함수 형태 왜 곱셈적 결합인가 컴퓨트 최적 배분 L-shape 희소 샘플링 전략 평가 프로토콜 ...