생성형 인공지능(AI) 챗봇 챗GPT에 전 여자친구를 살해하겠다는 계획을 털어놓은 미국 남성이 오픈AI의 신고로 체포됐다. 챗GPT 자동 탐지 시스템에 범행 계획이 포착된 뒤 연방수사국(FBI)에 전달되면서 수사가 시작됐다.

14일(현지 시각) 외신 등에 따르면 미국 플로리다주에 거주하며 투자은행에서 금융 분석가로 일했던 대런 저우(25)는 지난 3월 챗GPT와 대화하면서 헤어진 여자친구를 살해하겠다는 계획을 구체적으로 언급했다.

당시 그는 챗GPT에 전 여자친구의 취미와 자주 찾는 장소 등을 기록하고, 다른 남성에 대한 질투심과 함께 구체적인 범행 의도를 드러낸 메시지들을 남겼다.

대화 내용은 점차 구체적으로 변했다. 그는 전 여자친구가 이용하는 체육시설 주차장에서 기다렸다가 거절당할 경우 총으로 살해한 뒤 자신도 목숨을 끊겠다는 계획을 언급했다. 또한 전 여자친구를 자신의 집으로 데려가 인질로 잡겠다는 내용도 입력한 것으로 전해졌다.

저우는 소총과 권총, 산탄총 등을 구매했다고 챗GPT에 이야기하고 총기 사진을 전 여자친구에게 보냈다고 챗GPT에 과시하기도 했다. 실제로는 총기를 소유하지 않았다는 것이 이후 저우 측 변호인의 설명이다.

오픈AI는 자동 모니터링 시스템을 통해 저우의 대화에서 위험한 행동 패턴을 감지한 뒤 관련 내용을 FBI에 알렸다. FBI는 이를 현지 수사기관에 전달했고 저우는 지난 5월 체포됐다.

저우는 체포 후 보증금 10만 달러를 내고 석방됐으며 근무하던 투자은행에서도 해고됐다. 이후 살해 위협과 스토킹 관련 혐의 등에 대해 유죄를 인정했다. 합의에 따라 8년간 보호관찰을 받고 이 가운데 처음 2년 동안 전자감시 장치를 착용하게 됐다.

저우의 변호인은 그가 폭력적인 사람이 아니라 정신적으로 어려운 시기를 겪었다고 주장했다. 현재 상태가 호전됐으며 챗GPT에서 언급한 것과 달리 실제 총기를 가지고 있지 않았다는 입장도 밝혔다.

범죄 막은 AI 신고, 남은 개인정보 논쟁

이번 사건은 AI 서비스가 대화에서 현실적인 폭력 위험을 감지했을 때 운영사가 어디까지 개입해야 하는지를 다시 주요 쟁점으로 부각시켰다. 오픈AI는 자동화된 시스템을 이용해 폭력이나 위해 가능성이 있는 활동을 탐지하고, 위험 신호가 포착된 일부 사례는 담당자가 맥락을 추가로 검토한다. 이 과정에서 타인에게 임박하고 신빙성 있는 위해 위험이 있다고 판단되면 수사기관에 알릴 수 있다는 방침을 두고 있다.

모든 대화가 사람이 직접 검토되거나 수사기관 신고로 이어지는 것은 아니다. 이와 별도로 정부기관이 이용자 정보를 요청할 경우에는 유효한 법적 절차에 따른 제공을 원칙으로 한다. 다만 사망이나 심각한 신체 피해가 우려되는 긴급 상황에서 피해를 막기 위해 이용자 정보가 필요하다고 판단하면 예외적으로 정보를 제공할 수 있다.

이 같은 대응은 범죄 예방과 함께 개인정보 보호 문제도 낳는다. AI와 나눈 대화에는 개인적인 고민이나 인간관계 등 사적인 내용이 포함될 수 있는 만큼 어떤 대화를 현실적인 위험으로 판단하고 어느 시점에 외부 기관에 알릴 것인지가 핵심 쟁점이다. 위험한 범죄 계획을 놓치지 않으면서 일반 이용자의 대화를 지나치게 들여다보지 않는 기준도 함께 요구된다.

앞서 캐나다 브리티시컬럼비아주 텀블러리지 총기 난사 사건에서도 비슷한 문제가 불거졌다. 오픈AI는 범인이 사용하던 챗GPT 계정에서 폭력 관련 이용정책 위반을 감지해 해당 계정을 차단한 바 있다. 당시에는 수사기관에 알릴 만큼 임박하고 신빙성 있는 범행 계획이라고 판단하지 않았다. 이후 범인이 다른 계정으로 챗GPT를 이용한 사실도 확인됐다. 오픈AI는 사건 이후 폭력 위험에 대한 수사기관 신고 기준과 반복 위반자 탐지 체계를 강화했으며, 현재의 강화된 기준을 적용했다면 당시 계정도 수사기관에 신고했을 것이라고 밝혔다.

총기 난사 피해자 가족들은 오픈AI가 범인의 위험한 대화를 확인하고도 경찰에 알리지 않았다며 소송을 제기했다. 이 사건을 계기로 실제 범죄 가능성이 있는 대화를 더 적극적으로 포착해야 한다는 요구와 함께 AI 서비스가 이용자 대화를 어느 범위까지 탐지·검토하고 수사기관과 공유할 수 있는지 명확한 기준이 필요하다는 논쟁도 이어지고 있다.