바이트댄스(ByteDance)가 최대 10조 개에 달하는 파라미터를 지닌 초대형 인공지능(AI) 모델을 훈련하고 있는 것으로 전해졌다. 파이낸셜타임스(FT)는 관계자 3명을 인용해 이 소식을 보도했고, 로이터는 8월 7일(현지시각) 이를 재인용해 전하면서도 보도 내용을 자체적으로는 확인하지 못했다고 밝혔다. 이번에 훈련 중인 모델은 아직 초기 사전훈련(pre-training) 단계로, 현재까지 공개된 중국산 모델 중 가장 큰 문샷AI의 키미 K3(Kimi K3)보다 3배 이상 큰 규모다. 업계에서는 이 모델이 앤트로픽의 최신 시스템 미토스(Mythos) 5와 맞먹는 수준까지 이를 수 있다고 본다. 아르스 테크니카(Ars Technica)는 중국 기업들이 미국 최상위 AI 연구소와의 격차를 계속 좁히고 있다는 방증이라고 짚었다.

10조 개 파라미터, 어느 정도 규모인가

바이트댄스가 훈련 중인 모델의 파라미터 수는 최대 10조 개로 추정된다. 파라미터는 모델이 데이터에서 학습해 패턴을 인식하고 답을 생성하는 데 쓰는 수치 값으로, 모델이 저장할 수 있는 정보량과 기본적인 처리 용량을 가늠하는 척도로 쓰인다. 다만 실제 성능은 파라미터 수뿐 아니라 데이터 품질과 훈련 방식에도 크게 좌우된다는 게 여러 소스의 공통된 설명이다.

비교 대상인 문샷AI의 키미 K3는 2.8조 개 파라미터를 갖춘 것으로 알려져 있다. 키미 K3 출시 이전에는 메이투안(Meituan)의 롱캣(LongCat)-2.0과 딥시크의 V4-프로가 총 1.6조 개 파라미터 규모로 중국 AI 업계를 이끌었고, 이후 여러 중국 모델이 1조 개 파라미터 문턱을 넘어섰다. 앤트로픽과 오픈AI는 각각 미토스, 페이블(Fable), GPT-5.5 같은 시스템의 정확한 파라미터 수를 공개하지 않는다. 다만 업계 추정치로는 앤트로픽의 최상위 모델 미토스 5가 약 8조 개, 그 아래 등급인 페이블 5가 약 5조 개 파라미터를 갖췄을 것으로 여겨진다. 바이트댄스의 신형 모델이 최종적으로 10조 개에 가까운 규모로 완성된다면 미토스 5보다도 큰 파라미터 수를 갖게 되는 셈이다.

사전훈련 단계…“증류 안 쓴 지 1년 넘었다”

바이트댄스의 신형 모델은 현재 사전훈련 단계를 거치고 있다. 사전훈련은 통상 3~6개월가량 걸리는 과정으로, 이후 미세조정(fine-tuning)을 거쳐 문제가 없으면 정식 공개된다. 관계자 중 한 명은 최종 파라미터 규모는 이후 단계에서 확정될 것이라고 밝혔다. 10조 개라는 수치도 아직 유동적이라는 뜻이다.

The Decoder에 따르면 소스 중 한 명은 바이트댄스가 1년 넘게 증류(distillation) 방식을 쓰지 않고 있다고 전했다. 증류는 다른 회사 모델이 만들어낸 출력값을 학습 재료로 삼아 비슷한 능력의 파생 모델을 만드는 방식이다. 바이트댄스 창업자 장이밍(Zhang Yiming)은 2,000명 규모의 시드(Seed) 팀에 장기적으로 세계 최고 수준의 모델 역량을 목표로 하라고 내부적으로 지시한 것으로 전해졌다.

문샷·알리바바 뒤쫓고, 미토스 5는 접근 제한 중

아르스 테크니카에 따르면 최근 몇 주간 문샷과 알리바바의 중국산 모델들은 벤치마크(성능 평가 지표) 성적에서 두각을 나타냈다. 일부 영역에서는 앤트로픽의 페이블 5에만 뒤처지는 수준까지 올라왔다는 평가도 나온다. 다만 앤트로픽의 최상위 모델 미토스 5는 지난 6월 보안 우려로 일시 차단된 이후 승인된 기관에만 제공되고 있어, 직접적인 비교는 여전히 제한적이다. 업계 관계자들은 여러 중국 연구소가 페이블 5 규모의 모델을 훈련 중이라고 전했다. 그중에서도 가장 큰 모델을 밀어붙이고 있는 곳은 바이트댄스라는 설명이다.

경쟁은 중국 기업 사이에만 머물지 않는다. The Decoder는 일론 머스크(Elon Musk)의 말을 인용해 xAI 역시 6조 개와 10조 개 파라미터 규모의 그록(Grok) 변종 모델을 콜로서스2(Colossus 2) 클러스터에서 훈련하고 있다고 전했다. 초대형 모델을 향한 경쟁이 미국과 중국 양쪽에서 동시에 벌어지고 있는 셈이다.

과제는 비용…“지나치게 비싸지 않게”

중국 기술 기업들은 모델 출시 주기를 계속 앞당기며 글로벌 AI 경쟁 속도를 따라가려 하고 있다. 관건은 더 강력한 시스템을 만들면서도 운용 비용이 지나치게 비싸지지 않도록 하는 균형이다. 10조 개 파라미터급 모델은 훈련은 물론 실제 서비스에 투입할 때도 막대한 컴퓨팅 자원을 요구한다. 바이트댄스가 이를 감당할 만한 효율로 완성해낼 수 있을지가 관전 포인트로 남는다. 사전훈련이 예정대로 3~6개월 내에 마무리된다면 이후 미세조정과 공개 여부를 가늠할 수 있는 다음 단계가 이어질 전망이다.