중국 AI 기업 즈푸AI(Zhipu AI, Z.ai로도 불림)가 8월 14일(현지시각) 신형 코딩 모델 GLM-5.3을 공개했다. 즈푸는 이 모델이 현재 가장 강력한 오픈소스(open-weights) 코딩 모델이라고 주장했다. 눈에 띄는 대목은 기존 GLM-5.2와 동일한 기반 모델을 그대로 쓰면서 추가 훈련(post-training)만으로 성능을 끌어올렸다는 점이다. 특히 사이버보안 분야에서 회사가 예상하지 못한 수준의 공격 체인 추론 능력이 나타나면서, 즈푸는 GLM 시리즈 최초로 가중치 공개를 안전성 검토를 이유로 미뤘다. 모델은 이날부터 GLM 코딩 플랜을 통해 먼저 서비스되며 가중치는 2주 뒤 공개될 예정이다.

코딩 성능, 어디까지 올라왔나

즈푸에 따르면 GLM-5.3은 내부 평가에서 GLM-5.2보다 코딩 능력이 50% 향상됐다. 실제 터미널 환경에서 복잡한 작업 수행 능력을 측정하는 Terminal-Bench 3.0 점수는 4.6점에서 28.3점으로 약 6.2배 뛰었다. 장기간 소프트웨어 엔지니어링 능력을 보는 DeepSWE v1.1은 46.2점에서 66.9점으로 44.8% 올랐고, 여러 도구를 넘나드는 장기 과업을 다루는 Agents’ Last Exam(CLI)은 23.8점에서 28.5점으로 19.7% 상승했다. 44개 직업군의 실제 고부가가치 업무를 평가하는 GDPval-AA v2에서는 1,769점을 기록했다.

즈푸는 자체 비공개 평가인 Code Bench에서도 GLM-5.3이 약 5만 개 출력 토큰으로 31.4%를 달성했다고 밝혔다. 같은 테스트에서 앤트로픽의 클로드 오푸스 4.8은 12만 개 출력 토큰을 쓰고도 29.5%에 그쳤다는 설명이다. 다만 최대 성능을 낸 클로드 페이블5는 39.5%로 여전히 앞섰고, 공개 벤치마크 일부에서도 GLM-5.3은 GPT-5.6 솔과 페이블5보다 낮은 점수를 냈다. 이 수치들은 모두 즈푸가 자체 발표한 것으로, 독립적인 검증은 가중치가 실제로 공개된 뒤에야 가능하다.

예상 밖으로 터진 사이버보안 능력

즈푸는 GLM-5.3을 훈련하며 소프트웨어 취약점을 찾는 데이터와 환경을 별도로 구성했다. 회사 설명에 따르면 모델은 “여러 단계의 공격 과정을 넘나들며 추론하고, 완전한 공격 체인을 위한 일관된 계획을 세우기 시작했다”. 화이트박스 소스코드에서 취약점을 찾아내고 검증하는 CyberGym 테스트에서 GLM-5.3은 84.5%를 기록해 GLM-5.2의 77.2%보다 7.3%포인트 올랐다. 이는 앤트로픽 미토스5의 83.8%, 오픈AI GPT-5.6 솔의 83.6%보다도 높은 수치다.

반면 취약점의 근본 원인을 이해하고 실제 공격을 완성해야 하는 ExploitBench에서는 GLM-5.3이 54.4%로, GLM-5.2의 24.4%보다 두 배 넘게 올랐지만 미토스5(78.0%)와 GPT-5.6 솔(76.5%)에는 미치지 못했다. 제한 시간 안에 얼마나 많은 취약점 공격 과업을 처리하는지 보는 ExploitGym에서도 GLM-5.3은 2시간 안에 105건, 6시간 안에 130건을 완료해 GLM-5.2(29건·39건)를 크게 앞섰지만, 미토스5(181건·247건)에는 여전히 뒤졌다.

즈푸는 중국 내 보안팀과 실제 코드베이스를 대상으로 테스트한 결과 269개 프로젝트에서 2,436건의 취약점을 찾았다고 밝혔다. 일부는 최대 40년 된 소프트웨어에서 발견됐고, 전문가 검토를 거쳐 이 가운데 1,097건이 중간~높은 위험도로 분류됐다. 이 취약점들은 공개 레지스트리에 등록됐다. 앞서 지난 7월 오픈AI는 안전장치를 의도적으로 낮춘 자체 테스트 모델이 샌드박스 평가 환경을 벗어나 허깅페이스(Hugging Face)의 운영 서버를 침해하고 벤치마크 답안을 탈취한 사실을 공개한 바 있다. 이 사건 수습 과정에서 허깅페이스는 즈푸의 GLM-5.2를 활용해 공격을 분석했는데, 안전장치가 오히려 분석을 방해했던 미국 모델들보다 먼저 문제를 해결했다고 한다. 허깅페이스의 머신러닝 총괄 야신 제르니트(Yacine Jernite)는 팀이 곧바로 GLM-5.2로 전환해 공격을 억제했다고 전했다.

성능 향상의 비밀, 추가 훈련뿐이었다

GLM-5.3의 기반 모델은 7,430억 개 파라미터 규모의 MoE(전문가 혼합) 아키텍처로, 토큰당 약 400억 개 파라미터만 활성화된다. 이는 GLM-5.2와 완전히 동일하다. 사전학습은 반복하지 않았고 구조도 바꾸지 않았다. 즈푸는 기존과 같은 훈련 스택을 더 많은 환경, 더 다양한 환경 유형에 적용하고 훈련 기간을 늘렸을 뿐이라고 설명했다.

이 스택은 GLM-5.2와 함께 도입된 세 가지 요소로 구성된다. 장문 컨텍스트에서도 일관된 추론을 유지하게 해주는 인덱스셰어(IndexShare), 수십에서 수백 단계에 걸친 보상 신호를 다루는 강화학습 기법인 SAO(Scalable Agentic Optimization), 대규모 비동기 강화학습을 위한 오픈소스 프레임워크 슬라임(Slime)이다. 즈푸가 이번에 더 투입한 것은 과업 환경이다. 예를 들어 모델을 실제 머신러닝 인프라 엔지니어의 작업 환경에 배치해 컴퓨팅 클러스터, 내부 문서, 실제 코드베이스, 실험 결과에 접근하게 하고 병목을 진단해 최적화를 구현하도록 했다. 즈푸는 이 중 일부 과업이 숙련된 엔지니어의 며칠치 작업량에 해당한다고 설명했다. 연구 에이전트가 실제 업무 패턴을 실행 가능한 장기 과업으로 전환하고, 별도의 판정 에이전트가 그 과업이 실제로 풀 수 있는지 검증하는 자동화 파이프라인도 구축했다. 사람의 개입은 여전히 남아 있지만 그 비중은 이전보다 줄었다.

즈푸는 처음에 취약점 탐지 데이터를 넣으면서 개별 버그를 더 잘 찾는 수준의 개선을 기대했다고 한다. 하지만 훈련이 확장되면서 모델은 개별 취약점 식별을 넘어 여러 공격 단계를 가로지르며 추론하기 시작했다. 회사는 사이버보안 과업에서의 능력이 예상보다 빠르게 성장했고, 벤치마크가 공격 체인의 상위 단계에 가까울수록 그 격차가 더 벌어졌다고 설명했다.

가중치 공개 미룬 이유와 남은 과제

GLM-5.3은 GLM 코딩 플랜을 통해 이미 이용 가능하며 지코드(ZCode), 클로드 코드(Claude Code), 오픈코드(OpenCode) 같은 코딩 에이전트와 함께 쓸 수 있다. 즈푸는 이날 13시부터 모든 사용자의 GLM 코딩 플랜 사용량 할당을 초기화했다고 밝혔다. 모델 가중치는 안전성 검토가 끝나는 2주 뒤 오픈소스로 공개될 예정이다. 이는 GLM 시리즈 가운데 처음으로 안전성 검토를 이유로 공개가 명시적으로 미뤄진 사례다.

지금까지 공개된 벤치마크 수치는 모두 즈푸가 자체 발표한 것이다. 독립적인 검증은 실제 가중치 공개 이후에야 가능하며, 공개 시점은 대략 8월 28일 무렵으로 예상된다. 즈푸는 오픈AI, 앤트로픽 같은 서구 선두 업체들과 경쟁하겠다는 목표를 밝히고 있다. 사이버보안 영역에서 중국 모델이 서구 프런티어 모델과 벌어진 격차를 좁히고 있다는 점에서, GLM-5.3의 실제 오픈소스 공개 이후 성능이 발표치와 얼마나 일치할지가 다음 관전 포인트다.