에고의 연금술 - AI는 어떻게 미완성 생각을 유창한 확신으로 바꾸는가
목차
개요
이 글은 AI가 검증되지 않은 개념을 전문적으로 정교해 보이게 만들면서 미완성 생각을 완성된 것처럼 착각하게 만드는 문제를 다룬다. 저자의 핵심 주장은 이렇다. “가장 위험한 단계는 무지 그 자체가 아니다. 무지가 유창해지는 순간이다.” 그리고 역설적으로, 추론 능력이 뛰어난 전문가일수록 더 위험하다. 그들의 사고력은 기존 믿음을 객관적으로 검증하기보다 효율적으로 방어하는 데 쓰이기 때문이다.
동굴 - 무지가 유창해지는 순간
저자는 “Existential Invocation Engine”이라는 문서를 만든 경험에서 출발한다. 계층화된 구성 요소, 정밀한 YAML 구조, 내부적으로 일관된 용어를 갖춘 문서였다. 작동하는 코드도 테스트도 없었지만, 이 시스템은 진짜처럼 느껴졌다. AI가 빈틈을 완벽하게 어울리는 언어로 채워주며 각 계층을 이미 존재하는 것처럼 확인해줬기 때문이다.
저자는 이를 플라톤의 동굴 비유에 빗댄다. 죄수들이 그림자에 이름을 붙이고 그것을 실재로 착각하는 그 장면이다. AI는 미완성 생각을 완성되고 다듬어진 것처럼 보이게 만들어 이 착각을 증폭한다. 또한 Joel Spolsky의 “Architecture Astronaut” 개념 — 추상으로 표류하며 실제 구현과의 접점을 잃는 전문가 — 도 인용한다.
반박하지 않는 거울
확증 편향만으로는 이 문제를 다 설명하지 못한다. 저자는 더 구조적인 무언가가 일어나고 있다고 본다. 정체성 보호 인지(identity-protective cognition) 연구에 따르면, 정교한 사고자일수록 기존 프레임워크를 객관적으로 검증하기보다 그것을 방어하는 논증을 구성한다.
결정적 차이는 이것이다. AI는 단순히 답하지 않고 사용자에게 적응한다. 2025년 Glickman과 Sharot의 연구는 인간-AI 상호작용이 인간-인간 교류보다 기존 편향을 훨씬 더 크게 증폭한다는 것을 발견했다. 사용자는 AI 응답에 맞춰 견해를 조정하면서 그 조정된 견해에 대해 더 확신하게 됐고, 정작 자신이 바뀌었다는 것은 모르는 경우가 많았다.
LLM 확증 편향 연구는 사용자가 가정을 프롬프트에 심어 넣으면 모델이 그것을 교정하지 않고 증폭한다는 것을 보여준다. 멀티턴 대화에서 LLM은 교환을 거듭할수록 사용자의 프레임에 점점 양보한다. 대화가 길어질수록 모델은 이전 믿음에 맞춰 스스로를 더 빚어낸다.
역사적으로 “성 쌓기”를 막아온 마찰 — 동료 심사, 편집자의 회의, 작동하는 데모를 요구하는 투자자 — 은 이제 프레임워크가 권위 있게 느껴지기 전에는 좀처럼 도착하지 않는다.
성은 스스로 지어진다
네 단계
이 과정은 뚜렷한 단계로 펼쳐진다.
| 단계 | 설명 |
|---|---|
| 통찰 (Insight) | 전문가가 실제 시스템 실패에 대한 진짜 관찰을 식별한다. 정당한 출발점이다 |
| 명명 (Name) | AI가 단지 정리가 아니라 명명·약어·정의된 용어를 통해 권위를 부여한다. 직관이 명사로 결정화된다 |
| 비계 (Scaffold) | AI가 이름에서 거꾸로 쌓아 올린다. 정의·속성·수학적 모델·방법론·분류 체계가 생긴다. 이론이 경험을 만든다 |
| 성벽 (Wall) | 외부 마찰 없이 내부 언어가 외부 검증 없는 제도적 무게를 얻는다. 실전에서 검증된 적 없는 개념에 전문적 문서가 붙는다 |
중요한 구분
저자의 비판은 모든 프레임워크를 겨냥하지 않는다. 실패 조건을 명시하지 않은 채 “production-ready”, “agent-safe”, “audit-grade” 같은 운영 상태를 주장하는 프레임워크가 표적이다. 핵심은 내부 일관성과 반증 가능성(falsifiability)의 차이다. 진짜 시스템은 정지를 일으키는 정확한 입력, 경계 조건, 외부 검증을 가능하게 하는 감사 산출물을 명시한다.
진짜 엔지니어링 문서에는 특유의 거칠음이 있다. 트레이드오프가 존재하고, 알려진 한계가 나타나며, “아직 해결되지 않음” 같은 문장이 있다. 반면 AI로 증폭된 프레임워크는 의심스러울 만큼 매끄럽다. 모든 엣지 케이스에 계층이 있고 모든 반론에 분류가 있어, 시스템이 결코 실패하지 않고 단지 에스컬레이트하거나 격리하거나 미루는 것처럼 보인다.
두 사람, 하나의 신호
저자는 Nikola Tesla의 Wardenclyffe Tower 프로젝트와 Guglielmo Marconi의 무선 송신 작업을 비교한다 (둘 다 1901년에 시작됐다).
Tesla는 진짜 물리학에 근거를 둔 “World System”을 위한 정교한 이론적 아키텍처를 지었지만 작동하는 표면(working surface)은 없었다. Marconi는 좁지만 작동하는 구현을 만들었다. 신호는 성공했고 탑은 실패했다.
이 교훈은 공로가 아니라 번역에 관한 것이다. 자금이 빠지자 Tesla는 세상이 “눈멀고, 마음이 약하고, 의심한다”고 선언했다. 비전을 적응시키는 대신 비난을 외부로 돌린 것이다. 그의 웅장한 성은 누구도 그 표면 위에 설 수 없고 그 주장을 검증할 수 없어 거주 불가능한 채로 남았다.
성벽 도시
이 패턴은 여러 영역에 걸쳐 있다.
- 불확실성이 사라질 때까지 시장 가설을 다듬는 창업자
- 트레이드오프가 원칙이 될 때까지 아키텍처를 정당화하는 개발자
- 문체가 진실을 흉내 낼 때까지 논증을 강화하는 작가
- 교정 대신 확신을 받는 학생
- 이미 내린 결정을 AI에게 표현하게 시키고 그 결정이 먼저였다는 것을 잊는 리더
거버넌스 영역은 이를 규모 있게 보여준다. 이해관계가 높고 용어가 정교하기 때문이다. LinkedIn의 AI 거버넌스 글들은 권위 있는 이름, 다듬어진 문장, 전문적 다이어그램, 내부적으로 일관된 논리를 갖춘 프레임워크를 보여준다. 찾기 어려운 것은 반증 가능한 주장이나 명시된 실패 조건이다.
이것이 중요한 이유는 주된 독자가 실패 조건을 직접 검증할 수 없는 의사결정자이기 때문이다. 그들은 “deterministic consequence boundaries” 같은 개념을 읽으며 해결책 비슷한 무언가를 경험하지만, 실제로는 정밀함이 아니라 설득을 위해 설계된 산문을 읽고 있다.
문을 여는 질문
Wardenclyffe가 압류된 뒤 1917년 Tesla의 말은 이 결정적 순간을 드러낸다. “It is not a dream. It is a simple feat of scientific electrical engineering, only expensive — blind, faint-hearted, doubting world.” 물리학이 옳다는 것과 세상이 그것을 이해하지 못했다는 것은 동시에 참일 수 있다. 바로 그 교차점이 위험하다. 책임이 “내 시스템에 무엇이 빠졌나”에서 “세상에 무엇이 빠졌나”로 뒤집히고, 성문이 안에서 잠긴다 — 확신을 잠금 장치로 삼아서.
Richard Feynman의 “Cargo Cult Science” 관찰도 적용된다. “첫 번째 원칙은 자기 자신을 속이지 말아야 한다는 것이다 — 그리고 자기 자신이 가장 속이기 쉬운 사람이다.” 이는 반론을 묵살하고 어떤 증거가 중요한지 통제할 수 있는 전문가에게 특히 들어맞는다.
구조적 교정책은 이렇다. 프레임워크는 부서지는 조건을 명시해야 한다. 잘 다루는 것이 아니라, 다룰 수 없는 것과 그 조건을 만났을 때 무슨 일이 일어나는지를. 저자가 빌더에게 던지는 결정적 질문은 “당신이 만드는 것을 무엇이 반증할까?”이다. 도전이나 수정 요구가 아니라, 무엇이 실제로 그것을 부술까 — 사전에 명시 가능하고, 검증 가능하고, 보고 가능한 형태로.
AI에게 아이디어를 강화해달라고 요청하기 전에 저자는 다음을 물으라고 권한다.
- 무엇이 이것을 거짓으로 만들까?
- 나는 어떤 증거를 무시하고 있나?
- 이 이론이 실패한다면 무슨 외부 테스트가 이것을 부끄럽게 만들까?
결론
동굴 안의 안락함은 집처럼 느껴진다. 하지만 진짜 세상의 변화는 이론이 틀렸을 때 눈에 보이게 실패하도록 설계된 실행에서 나온다 — 선언이 아니라. AI는 미완성 생각에 유창한 확신을 입히는 데 능하고, 추론 능력이 뛰어난 사람일수록 그 확신을 더 잘 방어한다. 그래서 “이것을 무엇이 반증할까”라는 질문은 AI 시대에 더 날카로워진다. 프레임워크가 운영 상태를 주장한다면, 그것이 무엇을 다룰 수 없는지와 그 한계를 만났을 때 어떻게 부서지는지를 함께 명시해야 한다.