목차 벤치마크 점수와 사용자의 체감은 다르다 벤치마크 점수의 함정 벤치마크 점수와 사용자의 체감은 다르다 최신 AI 모델들은 매번 기록적인 벤치마크 점수를 달성하고 제조사들은 “AGI 직전 단계”라는 표현까지 사용합니다. 그러나 실제로 이러한 모델들을 사용해보면 기대에 미치지 못하는 경우가 많습니다. 왜 제조사가 홍보하는 성능 지표와 ...

목차 발생 오류 및 원인 오류 해결 방법 발생 오류 및 원인 Exception in thread Thread-1 (tracing_control_thread_func): Traceback (most recent call last): File "/home/ubuntu/.local/share/uv/python/cpython-3.12.0-...

목차 Ollama Ollama 다운로드 및 설치 방법 모델 다운로드 및 실행 Ollama Ollama는 오픈소스 LLM을 로컬 PC에서 쉽게 실행할 수 있게 해주는 도구 모델 가중치, 설정, 데이터셋을 하나의 패키지로 묶어서 Modelfile로 관리 Ollama 다운로드 및 설치 방법 리눅스에서 Ollama를 다운로드하고 설치하는...

목차 Custom Chat Model 만들게 된 이유 Custom Chat Model Custom Chat Model 만들게 된 이유 기존에는 text-generation task 모델을 사용했는데 사용하고 싶은 모델의 task가 image-text-to-text로 되어 있어서 HuggingFacePipeline에서 지원을 안함 Hug...

목차 A2A란? A2A 사용 A2A와 MCP 비교 A2A란? 4월 10일 구글은 A2A(Agent to Agent)라는 이름의 오픈소스 에이전트 간 프로토콜을 발표 여러 개의 A2A 서버를 실행한 다음 A2A 클라이언트에 연결하는 방식으로 A2A를 사용하는 방식은 MCP와 유사함 이미 Anthropic의 MCP(Model Conte...

목차 FastAPI-MCP FastAPI-MCP 특징 FastAPI-MCP 사용 방법 SSE를 이용한 MCP 서버 연결 mcp-proxy stdio를 이용한 MCP 서버 연결 FastAPI-MCP MCP 서버를 만드는데 MCP Python SDK를 사용해도 되지만 FastAPI API 서버의 모든 엔드포인트를 MCP Tool...

목차 uv를 사용하게 된 이유 uv의 장점 uv 사용 방법 uv를 사용하게 된 이유 Python 생태계에서 패키지 관리, 버전 관리, 가상환경 관리, 빌드 도구 등이 파편화되어 있어 pip, poetry, conda, pipenv 등의 유사한 기능을 하는 툴이 너무 많은데 Anthropic, OpenAI를 비롯한 ML 쪽에서 uv ...

목차 모델 선정 기준 MTEB MTEB로 측정가능한 Task 목록 MTEB 테스트 코드 테스트한 OpenSource Embedding 모델 List 기존 사용 Embedding 모델 OpenAI가 제공하는 임베딩 모델과 Anthropic이 권장하는 임베딩 모델 중에서 text-embed...