TimesFM 3.0: 다변량 시계열 예측을 위한 제로샷 파운데이션 모델
목차
개요
Google Research가 TimesFM 3.0을 공개했다. 3억 3천만 개 파라미터 규모의 시계열 예측 파운데이션 모델로, 1조 개 이상의 시간 점(time point)으로 구성된 실제 데이터와 합성 데이터를 혼합해 사전학습되었다.
이전 세대인 TimesFM 2.5까지 이 계열의 모델은 단변량 예측만 지원했다. 하나의 시계열을 입력받아 그 시계열의 미래를 예측하는 구조였다. TimesFM 3.0의 핵심 변화는 다변량 예측 지원이다. 여러 관련 시계열을 동시에 예측하고, 예측 대상 외의 보조 시계열(공변량)을 입력으로 활용할 수 있게 되었다.
이 차이는 실무 예측 문제의 구조와 맞닿아 있다. 예를 들어 아이스크림 판매량을 예측할 때, 판매량 시계열 하나만 보는 것과 프로모션 일정과 날씨 예보를 함께 보는 것은 다른 문제다. TimesFM 3.0은 후자를 제로샷으로 처리한다.
아키텍처
기본 구조와 토큰화
TimesFM 3.0은 TimesFM 2.5의 디코더 전용 트랜스포머 아키텍처를 계승한다.
시계열은 언어 모델의 토큰에 대응하는 단위로 잘려 들어간다. 연속된 32개 시간 스텝을 하나의 패치로 묶어 토큰을 구성하는 방식이다. 시계열마다 값의 스케일이 크게 다르기 때문에, 시계열 단위로 정규화를 적용해 스케일 차이를 흡수한다.
출력은 점 추정이 아니라 10부터 90 백분위까지 9개 분위수 예측으로 나온다. 예측의 불확실성 구간을 함께 제공하는 구조다.
다변량 토큰 구성
다변량 입력은 세 가지 종류로 구분된다.
| 입력 종류 | 설명 | 예시 |
|---|---|---|
| 다중 목표 | 동시에 예측할 여러 시계열 | 브랜드별 아이스크림 판매량 |
| 과거 공변량 | 과거 값만 알려진 보조 시계열 | 과거 매장 방문객 수 |
| 동적 공변량 | 미래 값까지 알려진 보조 시계열 | 프로모션 일정, 날씨 예보 |
목표 시계열과 과거 공변량은 하나의 패치에서 직접 토큰을 구성한다. 동적 공변량은 다르게 처리된다. 미래 값을 이미 알고 있으므로, 현재 패치와 미래 패치를 연결하는 선행(lead) 전략을 적용해 모델이 예측 시점의 미래 신호를 미리 볼 수 있게 한다.
프로모션이 예정된 주간의 판매 예측에 프로모션 정보가 반영되는 것이 이 구조 덕분이다. Google이 제시한 예시에서는 프로모션 일정을 공변량으로 입력했을 때 약 20%의 판매 증가를 예상하는 예측이 생성된다.
교대 어텐션
다변량 입력을 처리하기 위해 토큰이 2D 그리드 구조로 배치된다. 가로축은 시간, 세로축은 시계열(변량)이다.
트랜스포머 스택은 두 종류의 어텐션을 교대로 적용한다.
| 어텐션 종류 | 방향 | 역할 |
|---|---|---|
| 시간적 인과 어텐션 | 가로(시간축) | 과거 정보만 참조, 미래 정보 누설 방지 |
| 변량 어텐션 | 세로(시계열축) | 시계열 간 상관관계 학습 |
시간축 어텐션에 인과 마스크를 적용하는 것은 미래 정보가 과거 예측에 새어 들어가지 않도록 하기 위해서다. 반면 변량 어텐션은 같은 시점의 모든 시계열을 서로 참조하게 해, 브랜드 간 대체 관계나 프로모션과 판매량의 연동 같은 계열 간 구조를 학습한다.
TimesFM 2.5 대비 변경점
| 특성 | TimesFM 2.5 | TimesFM 3.0 |
|---|---|---|
| 예측 방식 | 단변량만 지원 | 다변량 지원 |
| 생성 방식 | 패치 단위 반복 생성(자기회귀) | 단일 패스 생성 |
| 미래 신호 활용 | 불가능 | 동적 공변량 지원 |
| 지연 특성 | 순차적 생성으로 인한 누적 지연 | 단일 forward pass |
단변량에서 다변량으로
2.5까지의 접근은 각 시계열을 독립적으로 예측하는 것이었다. 관련된 시계열이 여러 개 있어도 각각 따로 돌려야 했고, 계열 간 상관관계는 모델이 볼 수 없었다.
3.0은 이를 하나의 입력으로 통합한다. 단변량 모드로도 사용할 수 있으며, 이 경우에도 다른 파운데이션 모델과 동등하거나 그 이상의 성능을 낸다고 보고되었다. 다변량 모드에서는 추가적인 성능 향상이 나타난다.
자기회귀에서 단일 패스로
2.5는 예측 구간을 패치 단위로 나눠 반복적으로 생성했다. 긴 예측 구간일수록 순차 호출이 늘어나고, 앞선 예측의 오차가 뒤로 누적되는 구조였다.
3.0은 단일 forward pass로 예측 구간 전체를 생성한다. 추론 지연이 예측 길이에 따라 선형적으로 늘어나지 않으며, 자기회귀 누적 오차 문제도 구조적으로 완화된다.
학습 데이터와 벤치마크
사전학습 데이터는 1조 개 이상의 시간 점으로 구성되며 실제 데이터와 합성 데이터를 혼합했다. 소매, 금융, 관찰성(observability), 제조, 의료, 자연과학 등의 분야가 포함된다.
평가는 세 가지 시계열 예측 벤치마크에서 수행되었다.
| 벤치마크 | 특성 |
|---|---|
| GIFT-Eval | 다양한 도메인과 주기의 시계열 종합 평가 |
| FEV-Bench | 예측 성능 평가 벤치마크 |
| Time | 시계열 예측 평가 벤치마크 |
TimesFM 3.0은 세 벤치마크 모두에서 최상위 순위를 기록했다. 단변량 모드만으로도 다른 파운데이션 모델의 성능과 같거나 그 이상이었고, 다변량 모드에서는 추가 향상이 나타났다.
다만 발표 글은 순위와 차트만 제시하며 구체적인 오차 지표 수치는 공개하지 않는다. 정확한 수치 비교가 필요하면 벤치마크 리더보드를 직접 확인해야 한다.
사용 방법
모델은 오픈소스로 공개되어 있다.
| 채널 | 위치 |
|---|---|
| GitHub | google-research/timesfm |
| Hugging Face | google/timesfm-3.0-pytorch |
| BigQuery 통합 | 향후 제공 예정(2.5는 현재 제공) |
코드는 google-research/timesfm 저장소에서, 가중치는 google/timesfm-3.0-pytorch에서 받을 수 있다. BigQuery에서는 현재 2.5가 제공되고 있으며 3.0 통합은 예정 상태다.
제로샷 모델이므로 도메인별 학습 없이 바로 예측에 사용할 수 있다는 것이 전제다. 3억 3천만 파라미터 규모는 시계열 예측 모델로는 크지만 LLM 기준으로는 작은 편이어서, 배포 부담이 상대적으로 낮다.
한계와 주의사항
발표 글에서 명시적으로 다루지 않은 부분이 여러 개 있다.
첫째, 구체적인 성능 수치와 오차 지표가 제시되지 않았다. 벤치마크 순위와 차트만으로는 다른 모델과의 실제 격차를 판단하기 어렵다.
둘째, 컨텍스트 길이가 명시되지 않았다. 얼마나 긴 과거 구간을 입력으로 받을 수 있는지는 실무 적용에서 중요한 제약 조건이다.
셋째, 동시에 처리 가능한 시계열 개수의 상한이 언급되지 않았다. 변량 어텐션이 시계열 개수에 대해 어떻게 확장되는지가 다변량 활용의 실질적 한계를 결정한다.
넷째, 실행 시간과 메모리 요구량에 대한 상세 비교가 없다. 단일 패스 생성이 자기회귀 대비 지연을 줄인다는 설명은 있지만 정량 비교는 제시되지 않았다.
다섯째, 파인튜닝 가능 여부와 산업별 성능 편차도 다뤄지지 않았다. 제로샷 성능이 좋다는 것과 특정 도메인에서 충분하다는 것은 별개의 문제다.
결론
TimesFM 3.0의 의미는 시계열 예측 파운데이션 모델이 단변량 제약을 벗어났다는 데 있다. 실무의 예측 문제는 대부분 다변량이다. 프로모션, 날씨, 휴일, 관련 제품군의 판매량처럼 예측 대상 밖의 정보가 예측에 직접 영향을 준다. 지금까지 파운데이션 모델은 이런 정보를 받지 못했고, 그래서 도메인별 커스텀 모델이 여전히 필요했다.
2D 그리드 위에서 시간축 인과 어텐션과 변량축 어텐션을 교대하는 구조, 그리고 미래 값이 알려진 공변량을 선행 전략으로 연결하는 설계가 이 문제를 정면으로 다룬다. 자기회귀에서 단일 패스로의 전환은 지연과 오차 누적을 동시에 줄이는 부수 효과를 낸다.
가중치와 코드가 모두 공개되어 있으므로, 기존에 시계열별 모델을 따로 학습해 운영하던 파이프라인이라면 제로샷 베이스라인으로 먼저 성능을 비교해보는 것이 합리적인 출발점이다. 다만 컨텍스트 길이, 시계열 개수 상한, 실행 비용 같은 운영 조건은 저장소 문서에서 직접 확인해야 한다.