Juho's Dev Note

vLLM Custom Logits Processors로 특정 언어 토큰 차단하기

개요 대규모 언어 모델(LLM)을 서비스하다 보면 특정 언어나 문자를 생성하지 않도록 제어해야 하는 경우가 있습니다. 예를 들어, 한글 전용 서비스에서 중국어나 일본어 한자가 섞여 나오는 것을 방지하거나, 특정 토큰의 생성을 제한해야 하는 상황이 발생할 수 있습니다. 이번 포스트에서는 vLLM의 Custom Logits Processors 기능을 ...