OpenAI, 내부 프런티어 모델이 도출한 수학 연구 성과 공개 - 719개 manuscript와 Lean 형식화
목차
개요
OpenAI가 아직 공개되지 않은 내부 프런티어 모델이 도출한 다양한 새로운 수학 연구 결과를 공개했습니다. 결과물은 openai/math GitHub 리포지터리에 논문 수정 및 인용 절차와 함께 게시되었습니다. 리포지터리에는 372개 family로 묶인 719개의 manuscript가 담겨 있으며, 상위 결과의 약 42%가 Lean으로 형식화되어 있습니다. 결과 하나를 도출하는 데 사용된 연산량은 평균적으로 ChatGPT Pro가 약 3시간 동안 추론하는 데 쓰는 양에 해당합니다.
배경
이번 공개는 내부 모델을 미해결 연구 문제로 평가하는 작업의 일환입니다. 리포지터리 README에 따르면, 기존 수학 평가에서 모델 성능이 포화 상태에 이르면서 평가 범위를 미해결 연구 문제로 확장했습니다. 일부 결과는 이전에 모델이 도출한 결과를 기반으로 발전시킨 것입니다.
OpenAI는 과학자들이 최첨단 기능을 직접 활용할 수 있도록 이번 결과를 도출한 모델을 책임감 있게 공개하기 위해 노력하고 있다고 밝혔습니다. 이를 위해서는 내부 프런티어 모델의 수학 및 기타 과학 분야 역량을 지속적으로 평가하는 것이 중요하며, 그래야 이들 분야의 발전을 이끌 도구를 더 빠르게 개발할 수 있다는 설명입니다.
핵심 내용
공개 방식과 자문단 협의
OpenAI는 수학계와 연구 결과를 공유하는 방식을 표준화하기 위해 독립적인 자문 기구인 고등연구소의 수학 및 인공지능 자문단과 협의하며 모범 사례를 마련하고 있습니다. 이번 공개에도 자문단의 조언과 공개 권고 사항이 반영되었습니다.
이번에는 GitHub 리포지터리를 공개 채널로 사용했지만, 자문단의 지침을 충족하면서 커뮤니티가 직접 운영하는 플랫폼도 대안으로 계속 검토하고 있습니다. 향후 공개할 논문은 인용, 수학적 설명, 결과 제시 방식을 개선해 이해하기 쉽도록 품질을 높이겠다고 밝혔습니다.
리포지터리 구성
리포지터리에는 719개의 manuscript가 372개 family로 묶여 있으며, 각 family는 수학 분야별로 분류되어 있습니다. 주요 구성 요소는 다음과 같습니다.
| 경로 | 내용 |
|---|---|
| overview.pdf | 각 family에 대한 설명 |
| CONTENTS.md | manuscript 맵 |
| preprints/ | PDF, 소스, 인용 및 빌드 안내 |
| lean/ | Lean 라이브러리와 형식화 카탈로그, Comparator 검사 안내 |
| history.md | 변경 이력 |
라이선스는 Apache-2.0입니다.
Lean 형식화와 검증 상태
Lean은 컴퓨터로 수학적 증명을 검증할 수 있게 해 주는 프로그래밍 언어입니다. 리포지터리에는 다수의 증명을 Lean으로 형식화한 자료가 포함되어 있으며, 상위 결과의 약 42%가 형식화되어 있습니다. 추가 검사 방법은 리포지터리의 Comparator 안내를 참고하도록 되어 있습니다. OpenAI는 추가 형식화 자료가 확보되는 대로 리포지터리를 업데이트할 계획입니다.
결과들은 서로 다른 검증 단계에 있으며, 모든 결과에 Lean 형식화가 있는 것은 아닙니다. README는 “형식화되지 않은 일부 결과에는 문제가 있을 수 있다”고 명시적으로 경고합니다. OpenAI는 이런 문제를 신속하게 수정하겠다고 밝혔습니다.
연구 결과 도출 과정
OpenAI는 과학 연구의 투명성과 개방성을 높이기 위해 결과 도출 과정에 관한 세부 정보도 함께 공개했습니다.
| 항목 | 내용 |
|---|---|
| 시도한 문제 수 | 평가 기간 동안 약 4,000개 문제를 모델에 제시 |
| 결과당 연산량 | 평균 ChatGPT Pro 약 3시간 추론 분량 |
| 결과 정리 | 출력물을 family와 manuscript로 묶고 일정 수준의 유의성 기준 적용 |
| 추론 과정 요약 | 10개 family에 대한 축약 요약 공개 |
대부분의 결과는 미공개 모델을 사용한 동일한 고정 절차로 도출되었습니다. README는 이 절차의 예외로 다음 사례를 명시합니다.
- 리만 제타 함수의 zero-free region 관련 작업
- CM abelian variety에 대한 Hodge Conjecture 증명
- Re(s)가 11/12보다 큰 영역의 zero-free region 문서로, 가독성을 위해 사람이 편집한 버전
모델 추론 과정 요약
리포지터리에는 다음 10개 family 결과에 대한 모델 추론 과정의 축약 요약이 공개되어 있습니다.
| Family | 주제 |
|---|---|
| 007 | 곱셈적 함수의 ordinary two-point correlation |
| 017 | π의 irrationality exponent |
| 087 | symmetric 및 general Mahler 추측 |
| 102 | basic semidefinite threshold에서의 ordinary NP-hardness |
| 159 | 등차수열에 대한 quasipolynomial bound |
| 197 | 표수 2에서의 Kaplansky direct-finiteness 추측 |
| 221 | diluted spin glass에 대한 Mézard–Parisi 공식 |
| 271 | 양자 Heisenberg 강자성체의 spontaneous magnetization |
| 287 | free group factor의 동형 문제 |
| 362 | 3차원 relativistic Vlasov–Maxwell 시스템 |
버전 관리와 인용
공개 릴리스 이력은 보존됩니다. 수정 및 개정 사항은 새 버전으로 게시되며, 이전 버전도 계속 열람할 수 있습니다. 각 manuscript 디렉토리에는 BibTeX 인용 블록이 포함되어 있습니다.
의미와 시사점
이번 공개는 AI가 도출한 수학 연구 결과를 대규모로 공개하면서 검증 상태, 연산량, 시도한 문제 수까지 함께 제시했다는 점이 특징입니다. 약 4,000개 문제를 시도한 결과로 719개 manuscript가 정리되었다는 통계를 공개해, 결과물뿐 아니라 이를 얻기까지의 규모도 확인할 수 있습니다.
동시에 형식화 비율이 약 42%에 머물러 있고, 형식화되지 않은 결과에 오류가 있을 수 있다는 경고가 명시되어 있습니다. 따라서 개별 결과를 활용할 때는 Lean 형식화 여부와 버전 이력을 확인하는 것이 필요합니다.
OpenAI는 AI가 도출한 주요 연구 결과의 이해를 돕는 워크숍, 학술대회, 특별 프로그램에 자금을 지원할 예정이며, 자세한 내용은 추후 공유할 계획입니다. 또한 커뮤니티의 피드백을 반영해 주요 과학적 성과를 공개하는 기준을 지속적으로 개선하겠다고 밝혔습니다.
결론
OpenAI는 내부 프런티어 모델이 도출한 372개 family, 719개 manuscript의 수학 연구 결과를 GitHub에 공개했습니다. 상위 결과의 약 42%는 Lean으로 형식화되었고, 결과당 평균 ChatGPT Pro 약 3시간 분량의 연산이 사용되었으며, 10개 family의 추론 과정 요약도 함께 제공됩니다. 형식화되지 않은 결과에는 문제가 있을 수 있다는 점이 명시된 만큼, 검증 상태를 확인하며 참고하는 것이 바람직합니다.