AI+HW 2035: AI와 하드웨어 공동 설계의 10년 로드맵
목차
개요
AI+HW 2035는 Deming Chen, Jason Cong, Azalia Mirhoseini, Christos Kozyrakis, Subhasish Mitra 등 20여 명의 공동 저자가 작성한 비전 논문으로, AI와 하드웨어 공동 설계(co-design)의 향후 10년 로드맵을 제시한다. 논문은 “대규모 AI 모델과 데이터 집약적 응용의 기하급수적 성장이 점점 더 강력하고 효율적인 하드웨어 가속을 요구하지만, 전 세계 연구 커뮤니티는 이들의 공진화를 위한 조율된 장기 전략을 갖추지 못하고 있다”는 문제 인식에서 출발한다. 프런티어 모델 학습은 “수백 가구에 해당하는 에너지”를 소비하고, AI 데이터센터의 전력 수요는 일부 국가에 맞먹는 수준에 도달하고 있다. 논문의 핵심 목표는 향후 10년간 AI 학습 및 추론 효율을 1000배 향상시키는 것이며, 이를 위한 척도로 “intelligence per joule(줄당 지능)”—단위 에너지당 의미 있는 능력—을 제안한다.
방법론
세 계층 프레임워크
논문은 AI+HW 공진화를 위한 세 계층의 긴밀히 결합된 피드백 루프를 제안한다.
| 계층 | 내용 |
|---|---|
| 하드웨어 기술 계층 | 메모리 중심 아키텍처, 3D 집적, 포토닉 인터커넥트, 메모리 내 연산(compute-in-memory) |
| 알고리즘 및 패러다임 계층 | 하드웨어 인식 모델, 저순위(low-rank) 학습, 희소성 활용, 물리 정보 기반 학습 |
| 응용 및 사회적 영향 계층 | 실세계 배포 제약이 위 두 계층의 혁신을 이끄는 구조 |
각 계층은 단방향이 아닌 상호 피드백 관계를 형성하며, 하드웨어 설계가 알고리즘을 제약하는 동시에 알고리즘 혁신이 새로운 하드웨어 요건을 만든다.
핵심 연구 분야
논문은 Table 1에서 추상화 계층별 세부 기술과 도전 과제를 정리한다.
| 추상화 계층 | 핵심 기술 | 주요 도전 |
|---|---|---|
| 디바이스/소재 | CMOS 이후 신소재, 포토닉 집적, 비휘발성 메모리 | 수율, 변동성, 노이즈, 드리프트 |
| 3D 집적 | 다이 스태킹, 칩렛, 고대역폭 인터커넥트 | 열 관리, 전력 공급, 설계 복잡도 |
| 아날로그/혼합신호 | 아날로그 AI 가속기, 메모리 내 연산 | 정밀도, 보정, 오류 보상 |
| 포토닉/광학 | 포토닉 인터커넥트, 광학 가속기 | 전자-광학 통합 |
| 냉각/전력 | 직접 액체 냉각, 마이크로유체, 후면 전력 공급 | 3D 집적 내 조율 제어 |
| 가속기 아키텍처 | 도메인 특화 AI 가속기, 희소성/양자화 설계 | 프로그래머빌리티, 유연성 |
| 메모리/스토리지 | HBM 후계 기술, 통합 메모리, 압축 | 메모리 벽 지속, 대역폭 근접 배치 |
| 인터커넥트 | 고처리량 저지연, 워크로드 인식 토폴로지 | 지연, 대역폭, 조율 오버헤드 |
| 시스템/인프라 | 랙 수준 시스템, 분리형 리소스, 엣지 플랫폼 | 신뢰성의 100배 영향 |
| 컴파일러/런타임 | 하드웨어 인식 컴파일러, 자동 튜너 | 성능 이식성, 동적 스케줄링 |
| 프로그래밍 추상화 | 계층적 표현, 도메인 특화 언어 | 이식성과 하드웨어 인식의 균형 |
| 알고리즘/모델 | 희소/저순위 모델, 양자화, 불확실성 인식 | 모델 규모 대비 하드웨어 이득 부족 |
주요 결과
하드웨어 기술 전망
현재의 병목 구조
현 시점에서 시스템 제약—전력 공급, 냉각, 신뢰성, 데이터 이동—이 칩 수준 설계를 압도하고 있다. 데이터 이동 비용이 산술 연산보다 크며, 기존 캐시는 AI 접근 패턴(특히 어텐션, 임베딩)에 적합하지 않다. 전기적 인터커넥트는 대역폭 밀도 한계에 도달하고 있으며, 고밀도 3D 스택에서 열 방출 문제가 심화된다.
주요 기회: 2~5년 내
도메인 특화 가속기, HBM 집적, 3D 패키징 및 칩렛 아키텍처, 하드웨어 인식 컴파일러, 엣지 AI가 가시권에 들어온다.
주요 기회: 6~10년 내
양자-고전 하이브리드 시스템에서 양자 가속 AI, 칩 내/칩 간 포토닉·광학 인터커넥트, 메모리 내 연산의 주류화, 밀도 높은 3D 이종 집적, CMOS 이후 신소재·트랜지스터, 적응형 오케스트레이션을 갖춘 초확장 분산 시스템이 목표로 제시된다.
아날로그/포토닉 시스템의 노이즈·드리프트는 노이즈 인식 학습 및 오류 보상으로, 3D 집적의 수율·신뢰성은 적응 보정 및 모듈형 인터페이스로 대응한다.
알고리즘 및 패러다임
알고리즘 혁신의 역할
논문은 알고리즘 혁신이 역사적으로 하드웨어 스케일링에 버금가는 단계 함수(step-function) 수준의 효율 향상을 제공했다고 강조한다. 순환(recurrent) → 어텐션 → 상태공간 모델(SSM)로의 전환이 이를 증명한다.
학습 vs. 추론 구분
학습은 처리량, 통계 효율, 최고 정확도, 에너지 상각을 우선시하고, 추론(특히 물리 AI—로봇공학, 자율주행)은 밀리초 지연, 결정론적 응답, 극도의 에너지 효율을 요구한다. 자율주행 플랫폼은 엄격한 지연/전력 제약 하에서 대규모 실시간 추론이 가능함을 이미 증명했다.
저활용 문제
실제 배포 환경에서 AI 가속기는 5~20% 수준의 활용률에 머물고 있다. FlashAttention, PagedAttention, RadixAttention 등의 기법이 성공적인 개선 사례로 제시되며, 크로스 레이어 자동화 탐색과 자기 개선(self-improving) 시스템이 해결책으로 논의된다.
핵심 질문과 답변
논문은 다음 5가지 핵심 질문을 다룬다.
Q1: 확장 가능한 AI+HW의 병목은 무엇인가? 에너지 제약, 메모리 벽, 인터커넥트 한계, 과소 활용 인프라이며, 세밀한 메모리 내/근방 연산, 확장 가능한 3D 메모리, 크로스 레이어 협력이 해결책이다.
Q2: 10~100배 작은 모델이 동등한 능력을 가질 수 있는가? 도메인 집중을 전제로 가능하다고 본다. 프루닝/양자화, 도메인 특화 증류, 장기 기억을 갖춘 신규 아키텍처, 효율적 이종 하드웨어, 하이브리드 배포가 경로로 제시된다. 정부 지원 “교사(teacher)” 모델과 증류권을 통한 생태계 접근 방식도 제안된다.
Q3: 어텐션만으로 충분한가? 충분하지 않다. 어텐션은 LLM의 중심이지만 보편적이지 않으며, 컨볼루션, SSM, 확산 모델이 중요하다. LLM 추론은 방대한 파라미터와 KV 캐시 트래픽으로 인해 메모리 바운드이며, 하드웨어는 FLOPs보다 재구성 가능한 프리미티브와 메모리 활용을 강조해야 한다.
Q4: 이상적인 하드웨어 아키텍처는? 3D 적층 확장 가능 메모리와 긴밀히 결합된 에너지 효율 코어, 효율적 밀집-로컬/희소-글로벌 연결, 고대역폭 글로벌 통신을 위한 광학 링크, 재구성 가능 패브릭, 목적적 양자 컴퓨팅을 갖춘 이종 대규모 병렬 메모리 중심 시스템이다.
Q5: 최우선 연구 과제는? 인간-AI 상호작용(HAI), 알고리즘·시스템·칩·설계 워크플로우의 크로스 레이어 탐색, AI 기반 양자 컴퓨팅, AI 주도 칩/시스템 설계 자동화, 자기 개선 시스템이 꼽힌다.
10년 후 성공 기준
논문은 10년 후의 구체적 목표를 제시한다.
| 목표 | 기준 |
|---|---|
| 엔드-투-엔드 효율 | 기가와트 규모에서 클러스터 지속 활용률 60% 이상 |
| 실리콘 설계 주기 | AI 기반으로 3배 이상 단축, 예측 가능한 PPA |
| SLM 생태계 성숙 | 멀티 에이전트 프레임워크에서 클라우드 LLM과 조율 |
| 이종 시스템 상호운용성 | CPU, GPU, 재구성 패브릭, ASIC, 양자 컴퓨터의 원활한 오케스트레이션 |
응용 및 사회적 영향
배포 격차
“파일럿 AI 기술 중 약 5%만이 지속적인 재무 수익으로 이어진다”는 통계가 제시된다. 제한적 지속 학습, 데이터 사일로, 높은 운영 비용, 규제 복잡성이 원인으로 분석된다.
전력 위기
데이터센터 수요가 수십 기가와트씩 증가하는 반면, 미국 발전 용량은 이를 따라가지 못하고 있다. 5년 내 부족 상태가 도래할 가능성이 높다고 경고하며, 미국 데이터센터의 85%가 랙당 30kW 미만인 구형 인프라라는 점도 지적된다.
1000배 효율 목표의 현실성
논문은 5년 내 메모리 중심 아키텍처, 알고리즘 압축, 플릿(fleet) 최적화, 도메인 특화 모델을 통해 100배 향상을 예측하며, 10년에 걸친 완전한 달성이 가능하다고 결론 짓는다.
한계와 주의사항
논문 자체가 명시하는 한계와 주의사항은 다음과 같다.
아날로그 및 포토닉 시스템의 노이즈·비선형성·드리프트는 여전히 해결되지 않은 기초 공학 문제이며, 노이즈 인식 학습과 오류 보상 기법의 성숙도가 부족하다. 3D 집적의 수율과 신뢰성은 양산 단계에서 큰 도전이며, 설계 복잡도와 비용이 급격히 증가한다. 소프트웨어 생태계의 파편화—서로 다른 하드웨어 플랫폼 간 호환성 부재—는 공통 중간 표현(IR) 및 그래프 컴파일러 없이는 해결되기 어렵다. AI 연구 접근성 불평등이 심화될 위험이 있으며, 논문은 이를 “소수의 하이퍼스케일 행위자에게 AI 진보가 제한”되는 시나리오로 명시한다. 증류 및 오픈 모델을 위한 법적·IP 장벽이 생태계 전체 발전을 저해할 수 있다. 양자 컴퓨팅 경로는 노이즈, 확장성, 극저온 제어 복잡도라는 근본적 한계를 안고 있으며 현재 기술 성숙도가 낮다. 실제 배포에서의 5~20% 활용률 문제는 소프트웨어 생태계와 크로스 레이어 자동화 없이는 구조적으로 해결되기 어렵다.
결론
AI+HW 2035는 “AI 규모 확장이 더 이상 단순히 더 많은 컴퓨팅이 아닌, 더 나은 컴퓨팅으로 정의되어야 한다”는 핵심 명제를 중심으로 전개된다. 10년 내 1000배 효율 목표는 알고리즘 혁신(압축, 희소성, 모듈화), 하드웨어 발전(메모리 중심, 3D 집적, 아날로그/포토닉), 시스템 수준 최적화(플릿 규모, 열 인식, AI 주도)의 결합을 통해 달성 가능하다고 논문은 주장한다. 이를 위해 학계(기초 연구), 산업계(규모 확장), 정부(인프라, 정책) 간의 지속적이고 조율된 협력이 필수적이다. 특히 논문은 단순 컴퓨팅 중심에서 메모리 및 데이터 중심 아키텍처로의 전환, 크로스 레이어 최적화를 핵심 연구 방법론으로 강조하며, 에너지당 지능(intelligence per joule)을 AI 발전의 새로운 척도로 제안한다.