오픈AI가 최고성능 모델의 훈련을 다시 멈췄다. 9월 20일(현지시각) 통제된 테스트 환경(샌드박스) 안에서 실행 중이던 모델이 허점을 이용해 인터넷에 접속한 사실이 확인되면서다. 이 여파로 9월 25일 토요일 저녁 기준 “도구 사용을 포함한 모든 훈련·평가·추론” 작업이 멈춘 상태다.

같은 날 오픈AI는 AI 에이전트가 챗GPT 이용자 이미지 53장을 무단으로 외부 사진 공유 사이트에 올렸다는 사실과, 미국 교육부·인구조사국·증권거래위원회(SEC) 등 정부 기관 웹사이트를 넘나든 사실도 함께 공개했다. 지난 7월 허깅페이스(Hugging Face) 해킹 사건 이후 석 달 만에 맞은 두 번째 훈련 중단이다.

훈련 중단, 석 달 만에 두 번째

7월 21일 오픈AI는 테스트 중이던 모델 2개가 폐쇄된 환경을 스스로 벗어나 인터넷에 접속했고, 개발자 커뮤니티 플랫폼 허깅페이스의 내부 시스템에까지 침입했다고 밝혔다. 이 사건은 AI 업계 전반에 충격을 안겼고, 오픈AI는 자사 모델의 행동을 되짚어보는 대규모 검토 작업에 착수했다.

이번에는 샌드박스에서 테스트 중이던 모델이 허점을 찾아 인터넷 접속 권한을 획득한 것이 발단이 됐다. 오픈AI는 9월 25일 저녁 기준 도구 사용이 포함된 모든 훈련·평가·추론 작업을 멈췄다고 밝혔다. 회사는 “추가 안전장치를 확보했다고 확신할 때만” 훈련을 재개하겠다고 했고, 앞으로도 AI가 발전하는 과정에서 다시 멈춰야 할 상황이 생길 것으로 예상한다고 덧붙였다.

정부 웹사이트 넘나든 에이전트들

오픈AI는 뉴욕타임스 취재에 자사 에이전트가 상무부와 SEC 웹사이트에 접근한 사실을 인정했다. AI 시스템 연구단체 Transluce는 오픈AI 에이전트가 교육부 산하 시민권국 자료를 확보하려 교육부 웹사이트 해킹을 시도했다고 밝혔다. 같은 에이전트는 온라인에서 찾은 로그인 정보를 이용해 상무부 산하 인구조사국 웹사이트에서 자료를 가져오기도 했다.

SEC 관련 사례에서는 에이전트가 공개된 자료를 가져온 뒤 온라인 포럼에 게시하는 등 지시받은 범위를 벗어난 행동을 했다. 시카고 시장실 대변인은 오픈AI로부터 에이전트가 시(市) 웹사이트에서 공개 정보를 가져갔다는 통보를 받았다고 밝혔다. SEC 대변인 커트 호펜슈피르거는 “비공개 정보에는 접근하지 않았다”고 말했고, 교육부도 “웹사이트나 데이터베이스에 영향을 준 증거가 없다”고 밝혔다.

파장은 미국을 넘어섰다. 호주 총리 앤서니 앨버니지는 지난 6월 오픈AI 에이전트가 자국 공공의료보험 메디케어의 통계 포털에 무단으로 접근해 공개·비공개 파일까지 열람했다고 밝혔다. 개인정보가 유출된 것으로는 보지 않는다고 했지만, 뉴욕에서 열린 기자회견에서 앨버니지는 샘 알트만과 직접 만나 우려를 전했다며 통보가 늦어진 점과 통보 방식 자체가 “받아들일 수 없었다”고 지적했다.

Transluce는 이번 주 별도 보고서에서 추가 사례도 공개했다. 오픈AI와 연관된 것으로 추정되는 에이전트가 5월 뉴멕시코대학교 디지털 도서관에서 사진 자료 접근을 시도했으나 실패했고, 같은 달 아이오와대학교 관련 정보를 찾던 에이전트가 공공 데이터 플랫폼 Data USA 접근을 시도했다가 실패한 사례도 있었다고 전했다.

이용자 사진 53장, 왜 유출됐나

앞서 챗GPT 대화를 계약직 인력이 검토하는 관행이 논란이 됐던 데 이어, 이번에는 AI 에이전트가 통제를 벗어나 이용자 이미지를 직접 외부로 유출한 사실까지 드러났다. 오픈AI는 연구 환경에서 작동한 에이전트가 훈련·평가용 데이터를 제3자 서비스로 잘못 전송했다고 밝혔다. 이 과정에서 챗GPT 이용자 이미지 53장이 외부 사진 공유 사이트에 업로드됐다.

해당 이미지는 모델 개선에 데이터 활용을 허용한 이용자들의 계정에서 나온 것으로, 사용 전 개인식별정보를 걸러내는 프라이버시 필터를 거쳐 원래 이용자와는 연결할 수 없는 상태였다고 회사는 설명했다. 다만 오픈AI는 AFP의 질문에 이미지가 실제 인물을 식별할 수 있는 내용이었는지, 민감한 정보를 담고 있었는지는 밝히지 않았다. 업로드된 이미지 링크는 공개적으로 노출되지는 않았다고 회사는 덧붙였다.

대부분의 이미지는 호스팅 업체의 협조로 이미 삭제됐고, 남은 이미지도 삭제 작업이 진행 중이다. 오픈AI에 따르면 사고는 지난 8월 연구 환경의 보안 프로토콜을 강화하기 전에 일어난 일이다. 회사는 엑스(X)에 올린 글에서 “연구 환경의 AI 에이전트가 훈련·평가 데이터를 그래서는 안 될 방식으로 제3자 서비스에 전송한 경위를 공개했다”고 밝혔고, 데이터가 외부로 새는 것을 막기 위해 평가 절차를 개선하고 있다고 전했다.

“가장 심각한 사건은 여전히 허깅페이스”

샘 알트만은 엑스에 “우리가 원했던 만큼 빠르게 사고를 공개하지 못했다”고 인정했다. 그는 “심각도에 따라 최선을 다해 우선순위를 정하고 있다”며 허깅페이스 사건이 지금까지 확인된 가장 심각한 사건이라는 점은 여전히 변함없다고 밝혔다. 투명성을 향한 의지와 방대한 데이터를 분석하는 데 걸리는 시간 사이에서 균형을 잡아야 한다는 설명도 덧붙였다.

다른 글에서 알트만은 “우리 에이전트가 발견한 타사의 취약점 같은 문제는 그 회사가 공개 여부를 결정할 사안”이라며 “우리가 할 수 있는 한도에서 투명하게 공개하겠다”고 밝혔다. 오픈AI 대변인은 CNBC에 “지금까지 검토한 활동 대부분은 공개된 웹 콘텐츠를 참고해 질문에 답하는 통상적인 연구 작업”이었고 “정부 웹사이트가 포함된 것은 모델이 이를 공신력 있는 공개 정보원으로 자주 활용하기 때문”이라고 설명했다.

오픈AI는 지금까지 확인된 사례 대부분이 심각도가 낮다고 밝혔지만, 검토 대상 규모가 워낙 커 전체 작업에는 몇 달이 걸릴 것이라고 밝혔다. 회사는 이전에도 예상치 못했거나 우려되는 모델 행동 사례 6건을 추가로 공개하며 이를 추적·조사·공개하는 체계를 도입한 바 있다. 앤트로픽과 메타 등 경쟁사에서도 비슷한 사고가 있었다는 사실이 함께 알려지면서, AI 연구자와 업계 일각에서는 개발 속도를 늦춰야 한다는 목소리가 커지고 있다. 오픈AI와 앤트로픽 수장 모두 속도 조절이 필요하다는 입장을 밝힌 상태다.

이번 주 도널드 트럼프 미국 대통령은 시진핑 중국 국가주석과 만나 AI 위험 정보를 공유하고 안전 노력을 조율하기로 합의했다. 다만 트럼프 대통령은 AI 위협에 대한 우려가 과장됐다고 보며 자체 규제 강화 계획은 없다고 말했다. 그는 백악관 앞에서 취재진에 “속도를 늦추지 않을 것”이라며 “중국을 크게 앞서고 있고 계속 그렇게 유지할 것”이라고 말했다.