[더게이트]

크래프톤이 음성 AI 파운데이션 모델 ‘A.X K2 Raon-Speech’를 글로벌 AI 플랫폼 허깅페이스에 공개했다고 29일 밝혔다.

이번 모델은 과학기술정보통신부가 주관하는 ‘독자 AI 파운데이션 모델’ 프로젝트의 SK텔레콤 정예팀에 참여해 거둔 2차수 성과 중 하나로, 30B 이하급 공개 음성 언어 모델 중 한국어 종합 성능 1위를 기록했다.

A.X K2 Raon-Speech는 21B 파라미터 규모로, 30B 이하급 모델 중 한국어 종합 성능 1위, 영어 종합 성능 3위를 달성했다. 평가는 음성 인식, 음성 합성, 음성 이해, 음성 질의응답, 텍스트 질의응답, 도구 호출 등 총 6개 영역에서 이뤄졌다. 한국어 24개, 영어 22개 등 총 46개의 벤치마크가 활용됐다.

이 모델은 SK텔레콤의 소형 언어 모델에 크래프톤이 자체 학습한 음성 인코더와 코덱을 적용해 음성을 이해하고 생성할 수 있도록 학습한 음성 언어 모델이다.

크래프톤은 사람의 목소리를 AI가 이해할 수 있는 정보로 변환하는 음성 인코더와 생성된 정보를 자연스러운 음성으로 복원하는 음성 코덱을 자체 학습했다. 언어 모델의 텍스트 역량을 유지하면서 음성 입력과 출력을 안정적으로 연결하는 방식을 개발해 적용한 것이 특징이다.

기존 AI 음성 대화 시스템은 사용자의 말을 텍스트로 변환해 이해하고 답변을 만든 뒤 다시 음성으로 합성하는 방식을 거치는 과정에서 감정과 억양 등 사용자 음성 정보가 손실될 수 있었다. 이에 반해 A.X K2 Raon-Speech는 사용자 목소리에 담긴 정보들을 직접 활용해 한층 자연스러운 음성 답변을 생성한다.

앞서 크래프톤은 지난 4월 AI 모델 브랜드 ‘Raon(라온)’을 출범하고 4종의 AI 모델을 오픈소스로 공개한 바 있다. 이번 모델은 당시 공개한 음성 언어 모델의 학습 방법을 바탕으로 기술을 한 단계 고도화시킨 결과다.

크래프톤은 이번 연구를 통해 축적한 음성 AI 역량을 이용자와 함께 플레이하는 AI 캐릭터인 CPC 고도화에 활용할 계획이다. CPC가 이용자의 목소리와 의도를 이해하고 게임 상황에 맞는 음성으로 반응하는 등 자연스럽게 상호작용하는 게임 경험을 구현한다는 목표다.

이강욱 크래프톤 CAIO는 “A.X K2 Raon-Speech는 크래프톤이 AI 파운데이션 기술을 꾸준히 연구하고 고도화해온 결과물”이라며 “앞으로도 게임에 필요한 AI 파운데이션 기술을 지속적으로 고도화해 새로운 게임 경험을 만들어 나갈 것”이라고 말했다.