TurboQuant 완전 정리 - 이론 최적에 근접한 KV 캐시·벡터 검색 양자화와 vLLM 실측
목차 개요 배경 KV 캐시가 메모리 병목인 이유 데이터 비의존 양자화의 어려움 기존 KV 캐시 양자화 기법 개발 주체와 발표 타임라인 알고리즘 원리 랜덤 회전과 Beta 분포 Lloyd-Max 스칼라 양자화 (Q_mse) 직교성을 이용한...
목차 개요 배경 KV 캐시가 메모리 병목인 이유 데이터 비의존 양자화의 어려움 기존 KV 캐시 양자화 기법 개발 주체와 발표 타임라인 알고리즘 원리 랜덤 회전과 Beta 분포 Lloyd-Max 스칼라 양자화 (Q_mse) 직교성을 이용한...
목차 개요 평가 방법론 핵심 발견 수단 - 유해 능력 동기 - 유해 행동 의향 기회 - 안전장치 우회 위험 평가 - 로그 배포 결론 Reference 개요 METR은 2026년 2월부터 3월까지 프런티어 AI 개발사 내부에서 사용되는 AI 에이전트의 오정렬(misa...
목차 개요 방법론 듀얼 익스퍼트 아키텍처 모달리티 인식 위치 인코딩과 학습 주요 결과 생성과 편집 벤치마크 이해 벤치마크와 어블레이션 한계와 주의사항 결론 Reference 개요 Lance는 ByteDance Intelligent ...
목차 개요 Gemini 3.5의 핵심 성능 벤치마크 주요 기능과 배포 새로운 구독 체계 의미와 시사점 결론 Reference 개요 Google은 2026년 5월 19일 Google I/O 2026에서 새 AI 모델 제품군 Gemini 3.5를 공개했습니다. 이번 발표는 지능형...
목차 개요 핵심 내용 검열 회로의 구조 네 가지 응답 레지스터 방법론 주요 발견 의미와 시사점 결론 Reference 개요 이 글은 Qwen 3.5-9B의 가중치에 국가 단위 콘텐츠 필터링이 어떻게 새겨져 있는지를 분석한 메커니즘 해석(mechanistic interpre...
목차 개요 방법론 CL의 깁스 프레임워크 태스크 관계 순서 변수 주요 결과 단일 헤드 CL과 깊이의 효과 멀티 헤드 CL의 상전이 한계와 주의사항 결론 Reference 개요 이 논문은 Harvard University의 Haozh...
목차 개요 방법론 3계층 조직 프레임워크 코드의 세 가지 역할 주요 결과 응용 도메인 미해결 과제 한계와 주의사항 결론 Reference 개요 이 논문은 University of Illinois Urbana-Champaign, Me...
목차 개요 방법론 객체 중심 잠재 동역학 학습 정책 학습과 모델 예측 제어 주요 결과 성공률 비교 효율성과 어블레이션 한계와 주의사항 결론 Reference 개요 Slot-MPC는 본 대학교(University of Bonn)의 J...