Juho's Dev Note

vLLM Custom Logits Processors로 특정 언어 토큰 차단하기

개요 대규모 언어 모델(LLM)을 서비스하다 보면 특정 언어나 문자를 생성하지 않도록 제어해야 하는 경우가 있습니다. 예를 들어, 한글 전용 서비스에서 중국어나 일본어 한자가 섞여 나오는 것을 방지하거나, 특정 토큰의 생성을 제한해야 하는 상황이 발생할 수 있습니다. 이번 포스트에서는 vLLM의 Custom Logits Processors 기능을 ...

Mermaid를 활용한 다이어그램 작성 가이드

Mermaid란? Mermaid는 마크다운 문법을 사용하여 텍스트 기반으로 다이어그램을 생성할 수 있는 JavaScript 라이브러리입니다. 마우스로 그래픽 툴을 사용하지 않고도 코드만으로 전문적인 다이어그램을 작성할 수 있어, 문서화 작업의 생산성을 크게 향상시킬 수 있습니다. Mermaid의 장점 텍스트 기반 작성: 코드로 다이어그램을 ...

바이브코딩을 하면서 과몰입(터널)에 빠지지 않고 진짜 몰입하는 법

목차 들어가며 몰입 vs 과몰입의 핵심 차이 과몰입 신호 자가 진단 과몰입을 만드는 4가지 패턴과 대응 터널 탈출 프로토콜 5단계 AI와의 효과적인 협업 방법 핵심 메시지 들어가며 바이브 코딩은 AI의 도움을 받아 빠르게 코드를 생성하는 새로운 개발 방식이다. 하지만 이 과정에서 많은 개발자들이 “과몰입(터널)” 상...