Brain2Qwerty: 비침습 MEG로 뇌에서 문장을 디코딩하다
목차
개요
Brain2Qwerty는 Meta FAIR가 공개한 비침습 뇌-컴퓨터 인터페이스 기술이다. 비침습 뇌자도(MEG, magnetoencephalography) 기록에서 자연스러운 문장을 디코딩하는 것을 목표로 한다.
이 연구의 배경에는 명확한 임상적 문제의식이 있다. 뇌졸중, 사고, 뇌 질환으로 매년 수천 명이 말하는 능력을 잃는다. 기존 침습적 뇌 임플란트는 개두술이 필요하다. Brain2Qwerty는 이러한 침습적 방식의 대안으로 비침습 방식을 제시한다.
방법론
Brain2Qwerty는 두 개의 아키텍처 세대를 거치며 발전했다. 초기 v1은 키스트로크 예측에 기반했고, 현재의 v2는 연속적 뇌 활동에서 직접 문장을 생성한다.
v1 아키텍처
v1은 2023년에 제안된 초기 아키텍처다. MEG 뇌 활동 패턴에서 키스트로크(keystroke)를 예측하는 방식으로 동작한다. 그러나 모든 키입력의 시간 정보가 필요했다. 이 제약 때문에 실시간 작동이 불가능했다.
v2 아키텍처
v2는 현재의 아키텍처로, 연속적 뇌 활동 기록에서 직접 문장을 생성한다. 문자, 단어, 문장 디코딩을 공동으로 개선하는 세 개의 계층적 모듈로 구성된다. 이 구조를 통해 v1의 실시간 작동 제약을 극복하고자 했다.
| 구분 | v1 아키텍처 | v2 아키텍처 |
|---|---|---|
| 시점 | 2023년 | 현재 |
| 방식 | 키스트로크 예측 | 문장 직접 생성 |
| 구성 | 키입력 시간 정보 필요 | 3개의 계층적 모듈 |
| 실시간 | 불가능 | 개선 |
주요 결과
v2는 데이터량 확장과 아키텍처 개선을 통해 v1 대비 큰 폭의 성능 향상을 보였다.
정량 지표
입력 문장 수는 v1의 약 2,200개에서 v2의 약 22,000개로 늘었다. 데이터량이 10배 증가한 것이다. 평균 단어 정확도는 v1의 40%에서 v2의 61%로 향상되었다. 최고 참가자의 단어 정확도는 v1의 48%에서 v2의 78%로 향상되었다.
| 지표 | v1 | v2 |
|---|---|---|
| 입력 문장 수 | 약 2,200개 | 약 22,000개 |
| 평균 단어 정확도 | 40% | 61% |
| 최고 참가자 단어 정확도 | 48% | 78% |
스케일링 경향
연구진은 긍정적인 스케일링 신호를 보고했다. 훈련에 사용한 데이터가 많을수록 디코더 성능이 좋아진다는 경향이다. 적어도 현재까지는 감지 가능한 성능 정체(plateau)가 없다. 또한 웨어러블 MEG 센서 개발이 진행 중이다.
한계와 주의사항
Brain2Qwerty는 아직 임상 실용성이 부족하다. 단어와 문자 수준의 오류가 여전히 많아 일상 사용에는 부적합하다.
또한 MEG 장비 접근성 문제가 있다. 대형 스캐너 장비는 대부분의 환자에게 접근이 어렵다. 이 두 한계는 실제 환자 적용을 위해 해결해야 할 과제로 남아 있다.
결론
Brain2Qwerty는 개두술 없이 뇌에서 문장을 디코딩하는 비침습 접근의 가능성을 보여준다. v1에서 v2로 넘어오며 데이터량 10배 확장과 함께 평균 단어 정확도가 40%에서 61%로, 최고 참가자 정확도가 48%에서 78%로 향상되었다. 성능 정체가 아직 관찰되지 않는다는 스케일링 경향과 웨어러블 MEG 센서 개발은 향후 발전 가능성을 시사한다. Meta FAIR는 코드, 논문, 데이터를 GitHub 및 HuggingFace에 공개했다.