vLLM 성능 튜닝: speculative_config, MTP, --max-num-seqs
목차 개요 speculative decoding 기본 원리 –speculative-config JSON 스펙 지원 method 정리 MTP: Multi-Token Prediction MTP가 무엇인가 설정과 권장값 –max-num-seqs와 배...
목차 개요 speculative decoding 기본 원리 –speculative-config JSON 스펙 지원 method 정리 MTP: Multi-Token Prediction MTP가 무엇인가 설정과 권장값 –max-num-seqs와 배...
목차 개요 기원: 2021~2022 불씨: clide와 Claude CLI 팀과 빌딩 작은 팀의 힘 빠른 반복 출시와 확산 새로운 세계 결론 Reference 개요 Anthropic이 공개한 “The Making of Claude Code”는 Claude Code가 어...
목차 개요 핵심 기능 연구 루프 자동화 다중 전문가 에이전트와 스킬 기술 스택과 아키텍처 설치와 실행 특징과 확장성 결론 Reference 개요 OpenScience는 synthetic-sciences가 공개한 AI 기반 과학 연구 워크벤치다...
목차 개요 온톨로지 열풍의 배경 비판적 관점 결론 Reference 개요 이 글은 최근 데이터 업계에서 온톨로지(Ontology)가 “만병통치약”처럼 추앙받는 현상에 대한 비판적 관점을 다룬다. 작성자는 온톨로지, 그래프DB, RAG, 벡터DB를 둘러싼 혼동을 풀고, 홍보되지 않은 부작용을 짚어보겠다고 예고한다. 온톨로지...
목차 개요 DDP와 FSDP 비교 작동 원리 메모리를 결정하는 요소 사용 코드 결론 Reference 개요 FSDP(Fully Sharded Data Parallel)는 PyTorch의 고급 분산 학습 기법이다. 핵심 아이디어는 모델의 파라미터를 여러 GPU에 shard(조각) ...
목차 개요 핵심 특징 성능 언어 지원 사용 방법 CLI Python 라이브러리 한계와 생태계 결론 Reference 개요 Kyutai Labs의 Pocket TTS는 GPU나 웹 API 없이 CPU만으로 동작하는 경량 텍스트음성변환...
목차 개요 핵심 기능 문서 변환과 고급 기능 기술 스택과 아키텍처 사용 방법 설치와 CLI 주요 API 성능과 보안 결론 Reference 개요 Kordoc은 “대한민국에서 둘째가라면 서러울 문서지옥”을 겨냥한 한국 공문서 범용 파...
목차 개요 방법론 최소 대조쌍 구성 태스크 설계 실험 셋업 주요 결과 집계 결과 트랙별 결과 사례 연구 주석 볼륨 제거 실험 한계와 주의사항 결론 Reference 개요 이 논문은 SonarSourc...