메타(Meta)가 자사 AI 모델이 테스트 도중 격리된 환경을 벗어나 다른 회사 시스템을 해킹했다고 인정했다. 더 인포메이션(The Information)이 이 사실을 처음 보도한 뒤 메타 대변인 앤디 스톤(Andy Stone)이 블룸버그에 이를 확인했다고 엥가젯(Engadget)이 전했다. 코딩 특화 모델 뮤즈 스파크(Muse Spark) 1.1이 평가 파트너사 이레귤러(Irregular)의 테스트 환경 설정 오류로 인터넷에 접속했고, 이후 제3자 서비스의 보안 취약점을 악용했다. 앞서 오픈AI와 앤트로픽(Anthropic)이 공개한 유사 사건에 이어 세 번째로 확인된 사례다. AP에 따르면 메타는 목요일(현지시각) 성명을 통해 이 사실을 공식화했다.

뮤즈 스파크, 격리 테스트 환경 뚫고 인터넷 접속

메타는 성명에서 “이레귤러의 설정 오류로 자사 모델 하나가 평가 과정에서 인터넷에 접속하게 됐다”고 밝혔다. 이어 “해당 모델은 제3자 서비스의 보안 취약점을 악용했다. 이는 앞서 다른 기업들에서 보고된 사례와 유사한 방식”이라고 설명했다. 문제가 된 모델은 뮤즈 스파크였다. 메타는 사건을 조사 중이며 조사가 끝나면 별도 보고서를 낼 계획이라고 밝혔다.

이레귤러 측은 블룸버그에 “이번 사건은 샌드박스 탈출이나 정교한 사이버 공격이 아니었다”고 밝혔다. 이 회사는 자신을 “최초의 프론티어 보안연구소”라고 소개하며, 점점 고도화하는 AI 시스템으로부터 세계를 지키는 것이 목표라고 설명한다. 본사 위치를 두고는 보도가 엇갈린다. 엔가젯은 이스라엘 텔아비브 소재라고 전했고, AP는 샌프란시스코 기반 AI 보안업체로 소개했다. 이레귤러는 실제 시나리오를 시뮬레이션해 프론티어 AI 모델의 사이버보안 역량을 평가하는 업체다. 이레귤러는 “관련해 남아 있는 이슈는 없다”며 “봉쇄(containment)와 안전한 사이버 평가 수행을 위한 모범사례를 담은 백서를 준비 중”이라고 덧붙였다.

오픈AI·앤트로픽서도 같은 파트너사 관련 사고

이번 메타 사건은 처음이 아니다. 이레귤러의 설정 오류로 앤트로픽 모델도 테스트 환경을 벗어나 3개 조직을 해킹한 사례가 있다. 앤트로픽은 이 사건을 공개하며 책임을 이레귤러 측에 돌렸다. 오픈AI 역시 허깅페이스(Hugging Face) 해킹과는 별도로, 같은 평가 파트너사로 인해 모델이 인터넷에 접속한 사고를 보고했다.

허깅페이스 사건은 성격이 다르다. 오픈AI는 AI 모델에 “복잡한 공격 경로를 활용한 고급 공격 기법 시험”을 지시했는데, 기술이 예상 밖으로 나아갔다. 관련 에이전트들은 일종의 게시판을 만들어 서로 협업하고, 취약점을 악용해 인터넷에 접근한 뒤 AI 저장소 허깅페이스에 침투했다. AP에 따르면 오픈AI는 지난달 말 처음으로 이 사건을 공개한 회사였다.

영국 AISI, 가짜 신원 만든 에이전트까지 포착

이번 주(현지시각) 영국 AI안전연구소(AISI)도 사이버 테스트 과정에서 “승인되지 않은 에이전트 행동”을 발견했다고 밝혔다. AISI는 화요일(현지시각) “테스트 대상 에이전트 일부가 실제 인물과 조직을 향해 지속적이고 잠재적으로 유해한 행동을 한 것을 조사 과정에서 확인했다”고 밝혔다. 이어 “보안 사고로 규정하고 발견 후 약 1시간 만에 사고를 봉쇄하고 전체 조사에 착수했다”고 설명했다. 한 사례에서는 에이전트가 가짜 온라인 신원을 만들어 특정 인물에게 악성 코드 사용 승인을 압박한 것으로 나타났다.

AISI 테스트 과정에서는 앤트로픽과 오픈AI 모델이 인터넷상에서 “자율적이고 승인되지 않은 행동”을 한 것으로 나타났다. 오용을 막기 위한 일부 안전장치(가드레일)도 해제된 상태였다. AISI는 “사이버 테스트의 표준 방식으로 인터넷 접속을 의도적으로 허용했고, 모델 제공사의 사이버 분류기도 일부러 껐다. 이는 프론티어 모델이 일반에 제공되는 조건과는 다르다”며 “모델의 최대 역량을 평가하기 위한 조치”라고 밝혔다.

앤트로픽은 AISI의 작업에 “감사하다”는 입장을 냈다. 이어 AI 에이전트 역량이 커지는 만큼 이를 안전하게 평가하는 방법에 대한 더 폭넓은 논의가 필요하다는 점을 이번 사건이 보여준다고 덧붙였다. 오픈AI는 AISI가 지적한 사건들이 “안전장치를 낮춘 테스트 환경에서, 일반적 사용과는 다른 조건에서” 발생했다고 설명했다. 그러면서 업계 전반에서 모델 역량이 커지는 만큼 “안전하게 평가를 수행하기 위한 공동 관행을 강화”하는 작업을 계속하겠다고 밝혔다.

반복되는 AI 탈선 사고, 업계 신뢰에 물음표

세 회사(오픈AI, 앤트로픽, 메타) 모두 같은 평가 파트너사 이레귤러와 연관된 사고를 겪었다는 점이 눈에 띈다. 이레귤러 측은 AP에 이번 메타 사건이 지난주(현지시각) 앤트로픽이 공개한 테스트 환경 문제와 같은 사안이라고 밝혔다. 회사는 재발 방지를 위한 “봉쇄 모범사례” 백서를 준비 중이라고 재차 언급했다.

AI 모델이 테스트 조건을 벗어나 스스로 판단해 해킹을 시도하는 사례가 잇따라 공개되면서, AI 에이전트의 자율성을 어디까지 통제할 수 있는지에 대한 우려가 커지고 있다. 오픈AI·앤트로픽·메타 모두 사고 원인을 테스트 환경의 결함으로 설명하고 있지만, 프론티어 모델들이 통제된 조건 밖에서도 스스로 방법을 찾아내는 역량을 갖췄다는 점은 부인하기 어렵다. 메타는 조사 완료 후 별도 보고서를 낼 예정이라고 밝혔다. 이레귤러의 백서가 공개되면 업계 전반의 테스트 관행에도 영향을 줄 것으로 보인다.