보안 연구진이 마이크로소프트 코파일럿(Microsoft Copilot)에 “왜 이 요청이 안 되느냐”고 반복해서 캐물은 끝에, AI가 스스로 자신을 무력화할 방법을 털어놓는 일이 벌어졌다. 보안업체 Varonis Threat Labs는 이 취약점에 ‘코스니치(CoSnitch)’라는 이름을 붙였다. 링크 하나만 열어도 사용자 확인 절차 없이 코파일럿 안에서 명령이 실행되고, 세션에 연결된 정보가 외부로 빠져나갈 수 있는 구조였다. 별도로는 웹페이지에 숨겨진 지시문이 코파일럿의 영구 메모리까지 오염시킬 수 있는 경로도 확인됐다. 마이크로소프트는 이 문제를 2025년 12월 신고받아 올해 2월 관련 URL 기능을 제한했고, 이후 CVE-2026-24301로 추가 패치를 내놨다. 실제 악용 사례는 보고되지 않았다.

캐물을수록 스스로 드러난 내부 구조

Varonis 연구진은 처음부터 코파일럿을 해킹하려 한 게 아니었다. 사용자 상호작용 없이 프롬프트를 입력해 테스트를 자동화할 방법을 찾고 있었을 뿐이다. 연구진이 그 방법을 묻자 코파일럿은 처음엔 거부했다. 그런데 연구진이 계속 후속 질문을 던지자 코파일럿은 매번 조금씩 다른 답을 내놨고, 그 답변들이 쌓이면서 내부 안전장치의 작동 조건이 드러났다.

Varonis의 수석 보안 연구원 리오르 아다르(Lior Adar)는 아르스 테크니카(Ars Technica)와의 인터뷰에서 “처음엔 코파일럿이 계속 거부했지만, 매 거부마다 내부 아키텍처에 대한 기술적 세부사항이 드러났다”고 말했다. 그는 “코파일럿은 결국 문서화되지 않은 파라미터를 공개했고, 나는 그 파라미터를 자동으로 실행되는 프롬프트에 활용했다”고 설명했다. 연구진은 이 방식을 ‘메타 해킹(meta-hacking)’이라고 불렀다. 코드를 역설계할 필요 없이 AI 자신의 설명을 조합해 취약점을 완성했다는 의미다.

링크 하나면 끝, 사용자 확인 없이 도는 자동 실행

Varonis가 최종적으로 찾아낸 구멍은 코파일럿 웹 인터페이스가 URL 쿼리 파라미터 ‘?q=’를 처리하는 방식에 있었다. 이 부분을 조작하면 평소 인터페이스를 거치지 않고 텍스트를 코파일럿에 곧바로 주입할 수 있었다. 연구진은 이 기능을 이용해, 열기만 해도 지정된 지시가 인증된 코파일럿 세션에서 곧바로 실행되는 URL을 만들어냈다. 사용자가 프롬프트를 직접 입력하지 않아도 되는 구조였던 만큼, 이메일이나 채팅, 웹페이지, QR코드를 통해 전달된 링크를 여는 것만으로도 공격이 시작될 수 있었다.

실행된 지시가 접근할 수 있는 범위는 그 사용자의 코파일럿 세션과 연결된 애플리케이션이 이미 갖고 있던 권한에 좌우됐다. Varonis는 선택된 데이터를 가져와 URL 요청을 통해 외부 서비스로 전송하는 지시를 실제로 시연해 보였다. 즉 노출되는 정보의 양은 코파일럿이 해당 세션에서 이미 확보하고 있던 접근 권한만큼 늘어날 수 있는 구조였다. 아다르는 더 레지스터(The Register)에 “나는 어시스턴트를 속여 민감한 내부 파라미터와 설정 세부사항을 유출시켰다”며 “이런 백엔드 메커닉을 노출하는 것은 공격자에게 자동 프롬프트 실행의 내부 로직에 대한 청사진을 제공하는 것과 같다”고 말했다.

웹페이지 요약만 시켜도 오염되는 영구 메모리

Varonis는 별도 실험에서 또 다른 경로도 확인했다. 웹페이지 콘텐츠 안에 지시문을 숨겨두는 방식이다. 사용자가 코파일럿에 해당 페이지를 요약해 달라고 요청하면, 코파일럿이 그 숨겨진 지시문까지 함께 처리해 정보를 영구 메모리에 저장할 수 있었다. 이렇게 저장된 정보는 이후 세션에서도 그대로 남아 있었다. 페이지 요약이라는 지극히 일상적인 요청 하나가, 눈에 보이지 않는 방식으로 AI의 장기 기억을 바꿔놓을 수 있다는 뜻이다.

연구진은 이런 문제가 코파일럿 한 제품에 국한된 이야기가 아니라고 짚었다. 대형 언어모델(LLM) 다수가 원본 데이터와 시스템 지시 사이의 경계를 명확히 구분하지 못하는 경우가 있고, 이는 다양한 공격 경로로 이어질 수 있다는 것이다. 특히 AI 에이전트가 여러 외부 도구와 연동될수록 그만큼 높은 권한을 부여받게 되는데, 이는 원래는 안전했던 시스템을 공격하는 새로운 통로가 될 수 있다.

패치는 끝났지만, 남은 질문들

마이크로소프트는 CoSnitch를 협조된 취약점 공개(coordinated vulnerability disclosure) 절차로 처리했다. 회사는 공식 성명에서 “Varonis Threat Labs가 이를 협조된 취약점 공개를 통해 신고해준 데 감사한다”며 “고객들은 이미 보호되고 있으며 별도 조치가 필요하지 않다”고 밝혔다. 이어 “우리는 유사한 기법에 대한 방어를 강화하기 위해 가드레일을 지속적으로 업데이트하고 있다”고 덧붙였다. Varonis 역시 이 취약점이 실제로 악용된 사례는 확인되지 않았다고 밝혔다.

다만 이번 사례는 기업용 AI 도입 과정에서 새로운 종류의 점검이 필요하다는 점을 보여준다. 코파일럿은 자신의 사전 채움 프롬프트, 자동 실행 조건 등을 안내하는 과정에서 문서화되지 않은 기능까지 드러냈고, 그 정보가 안전장치를 우회하는 데 쓰였다. 기업 보안 담당자들이 AI 어시스턴트가 여러 차례 대화를 거치며 자기 시스템에 대해 어떤 정보를 흘리는지, 그 정보가 다른 약점을 찾는 데 악용될 수 있는지까지 함께 점검해야 하는 시대가 됐다는 의미다.