오픈소스 LLM vs 빅테크 LLM API: 비용과 리스크의 재계산
목차
- 개요
- GPT-4.5가 남긴 교훈
- AI 밸류체인의 3층 구조
- 성능 대비 가격의 역설
- 오픈웨이트와 폐쇄형의 실제 격차
- 프론티어 API 의존의 네 가지 리스크
- 자체 구동 비용의 실제 계산
- 규모별 전략의 비대칭성
- 오픈소스 자체 구동의 한계
- 결론
- Reference
개요
LLM을 제품에 붙이는 순간, 모델 선택은 기술 결정이 아니라 공급망 결정이 된다. 빅테크의 프론티어 API를 쓸 것인가, 오픈웨이트 모델을 직접 구동할 것인가는 단순 성능 비교로 답이 나오지 않는다. 원문은 가격, 폐기 사이클, 규제, 성능 격차를 함께 놓고 이 선택을 재계산한다. 결론은 절대 성능이 아니라 의존성 구조와 검증 역량이 승부를 가른다는 것이다.
GPT-4.5가 남긴 교훈
2025년 2월 출시된 GPT-4.5는 입력 100만 토큰당 75달러, 출력 100만 토큰당 150달러라는 가격표를 달고 나왔다. 그리고 약 4.5개월 만에 상업 수명을 마감했다. OpenAI 역사상 가장 짧은 수명이었다.
문제는 가격이 아니라 그 위에 제품을 올린 개발자들의 처지였다. 프롬프트, 평가 셋, 출력 포맷을 특정 모델에 맞춰 튜닝한 팀은 모델이 사라지는 순간 마이그레이션 사이클에 갇힌다. 공급자의 로드맵이 곧 내 제품의 로드맵이 되는 구조다.
AI 밸류체인의 3층 구조
원문은 AI 밸류체인을 세 층으로 나눈다.
| 층위 | 구성 | 현재 상태 |
|---|---|---|
| 인프라 | GPU, 클라우드 | 이미 소수 승자로 정리됨 |
| 파운데이션 모델 | 프론티어 모델, 오픈웨이트 모델 | 현재 변동이 진행 중인 층 |
| 콘텐츠 및 애플리케이션 | 제품, 서비스, 워크플로우 | 모델 층의 변동에 직접 노출 |
인프라 층은 승부가 사실상 끝났다. 지금 흔들리고 있는 것은 모델 층이며, 그 위에 올라탄 애플리케이션 층이 그 진동을 그대로 받는다. 따라서 애플리케이션을 만드는 입장에서 모델 층을 어떻게 다룰지가 핵심 의사결정이 된다.
성능 대비 가격의 역설
SWE-bench Verified 기준으로 상위 5개 모델은 0.4점 이내에 몰려 있다. 성능은 사실상 구분이 어려운 수준으로 수렴했다는 뜻이다. 그런데 같은 구간에서 가격은 5배까지 차이가 난다.
시장 전체로 시야를 넓히면 격차는 더 벌어진다. 최저가 토큰과 프리미엄 추론 토큰 사이의 가격 차이는 600배 이상이다. 가격이 더 이상 성능의 대리 지표로 작동하지 않는다는 의미다. 비싼 모델을 골랐다는 사실 자체가 품질을 보증해주지 않는다.
오픈웨이트와 폐쇄형의 실제 격차
오픈웨이트 모델이 프론티어를 얼마나 따라잡았는지는 어떤 벤치마크를 보느냐에 따라 달라진다.
| 측정 기준 | 격차 |
|---|---|
| 공개 벤치마크 | 평균 약 4개월 |
| 프라이빗 벤치마크 | 약 8개월에서 10개월 |
| 추세 | 18개월 이상 안정적으로 유지 |
공개 벤치마크에서 좁게 보이는 이유 중 하나는 학습 데이터 오염 가능성이다. 오염이 통제된 프라이빗 평가에서는 격차가 두 배 이상으로 벌어진다. 중요한 것은 이 격차가 실재하지만 좁고, 예측 가능하며, 시간이 지나도 벌어지지 않는다는 점이다. 격차가 일정하다면 그것은 리스크가 아니라 계획 가능한 변수다.
프론티어 API 의존의 네 가지 리스크
원문은 API 의존이 만드는 리스크를 네 가지로 정리한다.
| 리스크 | 설명 |
|---|---|
| 가격 변동 | Claude 3.5 Haiku는 4배 인상, o3는 80% 인하 등 방향을 예측할 수 없음. 토크나이저 변경만으로 청구 비용이 35% 오를 수 있음 |
| 폐기 사이클 | 2026년 2월 GPT-4o, GPT-4.1, o4-mini가 3개월 예고로 중단. 대체 모델로 옮기면 prompt drift 발생 |
| 플랫폼 흡수 | 제공사가 래퍼 수준의 기능을 자사 제품에 직접 통합 |
| 규제 정지 | 2026년 6월 12일 Anthropic Fable 5가 수출통제로 19일간 중단된 사례 |
네 가지 모두 성능과 무관한 리스크라는 점이 핵심이다. 모델이 아무리 좋아도 가격이 오르거나 사라지거나 멈추면 제품은 동작하지 않는다.
원문은 오픈웨이트 자체 구동이 이 구조를 바꾼다고 본다. 가격은 하드웨어 감가상각과 전기료만 변동하고, 이미 받은 가중치는 공급자가 폐기할 수 없으며, 흡수당할 플랫폼 자체가 존재하지 않는다. 규제로 서비스가 정지되더라도 보유한 가중치는 그대로 남는다.
자체 구동 비용의 실제 계산
비용을 정직하게 계산하면 오픈소스 자체 구동이 절대적으로 싸지는 않다.
| 구동 방식 | 100만 토큰당 비용 | 조건 |
|---|---|---|
| 소비자용 GPU 자체 구동 | 약 1달러 | 3년 감가상각과 전기료 포함, 가동률 30% 기준 |
| 이미 보유한 하드웨어 | 약 0.5달러 | 한계비용만 계산, 감가상각 제외 |
| 최저가 오픈웨이트 API | 0.14달러에서 0.28달러 | 외부 제공사 이용 |
절대 비용만 보면 API가 확실히 저렴하다. 다만 최저가 API에는 숨은 비용이 있다. 입력 데이터를 학습용으로 보존하는 경우가 있기 때문이다. 자체 구동이 사는 것은 토큰 단가가 아니라 앞서 정리한 네 가지 리스크의 제거다.
규모별 전략의 비대칭성
같은 선택이 규모에 따라 정반대 결론을 낳는다. 빅테크 규모에서는 프론티어 API 의존이 취약점이 된다. 사용량이 클수록 가격 변동과 폐기 사이클의 충격이 그대로 손익에 반영되기 때문이다.
반대로 소규모 플레이어가 good-enough 구간에서 오픈웨이트를 자체 구동하면 오히려 견고한 구조가 된다. 외부 공급자의 로드맵과 무관하게 동작하는 제품을 갖게 되기 때문이다. 이때 감수하는 트레이드오프는 단 하나, 절대 프론티어 성능의 포기다.
오픈소스 자체 구동의 한계
오픈소스가 만능은 아니다. 원문은 네 가지 제동 장치를 제시한다.
커모디티화의 역설
커모디티 인풋은 커모디티 아웃풋을 만든다. 누구나 같은 오픈웨이트 모델을 쓸 수 있다면 모델 자체는 차별화 요소가 되지 못한다. 해자는 유통, 독점 데이터, 도메인 통합, 검증 체계에서만 나온다.
good-enough 선의 상승
충분히 좋다는 기준선은 고정된 값이 아니라 계속 올라간다. 지금의 good-enough 지점에 제품을 고정시키면 시간이 지날수록 마진이 깎이는 구간에 갇히게 된다.
과제별 난이도 분류
모든 과제에서 오픈웨이트가 통하는 것은 아니다.
| 구간 | 과제 유형 | 판단 |
|---|---|---|
| 좌측 | 구조화 추출, 요약, 분류, 나레이션 | 오픈웨이트로 충분 |
| 우측 | 장기 에이전틱 코딩, 오류가 연쇄되는 과제 | 프론티어 필요 |
NIST 평가에서도 같은 패턴이 확인된다. 최상위 오픈웨이트 모델은 수학 영역에서 프론티어와 사실상 대등한 결과를 냈다. 그러나 사이버 영역과 추상 추론 영역에서는 30점 이상 벌어졌다. 따라서 과제를 뭉뚱그리지 않고 난이도별로 분해해 모델을 배치하는 것이 현실적인 접근이다.
책임의 이동
자체 구동은 공짜가 아니다. 운영, 튜닝, 검증, 규제 대응의 책임이 API 제공사에서 내 조직의 역량으로 이동한다. 그 역량이 없다면 리스크를 제거한 것이 아니라 형태만 바꾼 것이다.
결론
가격은 더 이상 성능의 대리 지표가 아니고, 오픈웨이트와 프론티어의 격차는 좁고 예측 가능한 범위에서 유지되고 있다. 그렇다면 선택의 기준은 벤치마크 점수가 아니라 의존성 구조가 된다. 프론티어 API는 가격 변동, 폐기 사이클, 플랫폼 흡수, 규제 정지라는 네 가지 통제 불가 변수를 안고 가는 선택이고, 오픈웨이트 자체 구동은 그 대신 운영과 검증의 책임을 떠안는 선택이다.
원문의 결론은 승부처가 모델 자체가 아니라는 데 있다. 싼 모델을 신뢰 가능한 제품으로 바꾸는 엔지니어링 판단에서 결과가 갈린다. 같은 입력을 놓고도 모델 출력에 검증 계층을 두어 사실과 수치와 식별을 보장하면 데모에 머물던 것이 제품이 된다. 결국 차별화는 어떤 모델을 골랐는지가 아니라 그 출력을 어떻게 검증하고 도메인에 통합했는지에서 나온다.