Claude 컴퓨터 제어 기능 출시 - 마우스, 키보드, 화면 직접 조작

Claude 컴퓨터 제어란?

Anthropic이 Claude에 컴퓨터 제어 기능을 추가했다. Claude Code Desktop 및 Cowork과 연동되어 실제 컴퓨터의 마우스, 키보드, 화면을 직접 제어할 수 있다. 이를 통해 API가 없는 레거시 앱이나 GUI 기반 작업도 자동화할 수 있게 되었다.

주요 기능

항목	설명
입력 제어	마우스 클릭, 키보드 입력, 화면 인식을 통해 어떤 앱이든 직접 조작 가능
Dispatch 도구	원격으로 Claude에게 작업 지시를 내릴 수 있는 도구 제공
플랫폼 지원	macOS에 먼저 출시되었으며 Windows는 수 주 내 지원 예정
동작 속도	현재 초기 단계로 사람보다 훨씬 느리고 신중하게 동작
활용 분야	레거시 앱 자동화, GUI 작업 자동화 등

동작 방식

Claude는 화면을 스크린샷으로 캡처하여 현재 상태를 인식한다. 인식된 화면 정보를 바탕으로 마우스 이동, 클릭, 키보드 입력 등의 동작을 수행한다. Dispatch 도구를 활용하면 원격에서도 Claude에게 작업을 지시할 수 있다.

현재는 초기 단계이기 때문에 사람이 직접 조작하는 것보다 훨씬 느리다. 하지만 반복적인 GUI 작업이나 API가 제공되지 않는 레거시 시스템 자동화에는 충분히 유용하다.

커뮤니티 반응

기존에 OpenClaw 등 오픈소스 컴퓨터 제어 자동화 도구들이 있었지만, Claude의 컴퓨터 제어 기능이 이들의 대안이 될 수 있다는 평가가 나오고 있다. Anthropic이 직접 지원하는 만큼 안정성과 통합성 면에서 기대를 모으고 있다.

결론

Claude의 컴퓨터 제어 기능은 AI 에이전트가 실제 데스크톱 환경에서 작업을 수행할 수 있는 새로운 가능성을 열었다. 아직 초기 단계라 속도와 정확도 면에서 개선이 필요하지만, 레거시 앱 자동화나 반복적인 GUI 작업에는 실질적인 도움이 될 수 있다. Windows 지원이 추가되면 활용 범위가 더욱 넓어질 것으로 기대된다.