[투어코리아=윤형근 기자] BC카드가 자체 개발한 대규모언어모델(LLM)의 크기를 줄이면서도 처리 속도는 오히려 3배 가까이 끌어올린 기술을 사내 서비스에 적용했다고 19일 밝혔다. 같은 성능을 유지하면서 몸집만 3분의 1로 줄인 AI 모델이 등장한 셈이다.

생성형 AI 서비스에 쓰이는 대규모언어모델은 수십억에서 수백억 개에 달하는 파라미터로 이뤄져 있다. 모델이 커질수록 필요한 GPU 메모리와 연산 자원도 함께 늘어나기 때문에, 서비스를 확장할수록 고성능 GPU 확보와 운영 비용 부담이 커지는 구조다. 이 때문에 AI 업계에서는 성능은 유지하면서 모델 크기와 연산 부담을 줄이는 '경량화' 기술이 주목받고 있다. 같은 장비로 더 많은 요청을 처리할 수 있어 추가 투자 없이도 기존 인프라를 효율적으로 쓸 수 있어서다.

BC카드가 적용한 기술은 '양자화'다. 모델을 구성하는 숫자의 정밀도를 16비트에서 4비트로 낮춰 크기와 연산 부담을 줄이는 방식이다.

310억 개 파라미터를 가진 모델에 이 기술을 적용한 결과는 뚜렷했다. 모델 용량은 62.5GB에서 19.5GB로 약 69% 줄었다. 반면 같은 GPU 환경에서 한국어 생성 처리량은 초당 205토큰에서 530토큰으로 늘어 3배 가까이 빨라졌고, 평균 응답 시간도 24초에서 9초로 단축됐다.

모델을 가볍게 만들면 보통 성능이 떨어지기 마련인데, BC카드 측은 한국어 이해와 추론 능력 등 8개 항목으로 성능을 평가한 결과 원본 모델 대비 98.7% 수준을 유지했다고 설명했다.

이런 성과를 바탕으로 BC카드의 경량화 모델은 과학기술정보통신부가 주관하는 'K-AI 리더보드'의 대형 모델(30B 초과) 부문에서 종합 10위, 한국어 지식 평가 항목(KMMLU-Pro)에서는 7위에 올랐다. 이 리더보드는 제3자 기관이 직접 채점하는 방식으로 운영되는데, 등재된 모델 중 4비트 양자화 방식을 명시한 곳은 BC카드가 유일하다.

경량화 과정에서 나타나는 한국어 성능 저하를 줄이기 위해 개발한 기술 2건은 현재 특허 출원 절차를 밟고 있다. 한국어와 영어의 언어적 특성을 반영해 압축 기준을 다르게 잡고, 모델 구조에 맞춰 압축 강도를 세밀하게 조정하는 기술이다.

BC카드는 이 기술을 연구개발에 그치지 않고 지난 7월부터 사내 금융 특화 생성형 AI 플랫폼인 'BCGPT'와 'MOAI'에 실제로 적용했다. 그 결과 모델 용량은 줄었지만 GPU 한 대가 동시에 처리할 수 있는 업무량은 오히려 늘었다.

주목할 점은 고성능 서버용 GPU가 아니어도 된다는 부분이다. 일반 PC급 GPU로도 AI 연산이 가능해져 추가 장비 투자 부담이 줄어든다. 이런 특성 때문에 예산이 넉넉하지 않은 중소기업이나 스타트업에서도 도입할 여지가 생긴다는 게 회사 측 설명이다. 여기에 사내 데이터를 외부 AI 서비스로 보내지 않고 자체 인프라에서 처리할 수 있다는 점은 보안이 중요한 금융업계 환경에도 부합한다는 평가를 받고 있다.

오성수 BC카드 상무는 AI 모델의 성능을 유지하면서 비용과 속도를 함께 개선하는 것이 실제 업무 활용의 핵심이라고 말했다. 이번 경량화 기술을 사내 서비스에 적극 적용하는 한편 외부에도 공개해 더 효율적인 AI 활용 환경을 만드는 데 기여하겠다는 뜻도 전했다.

한편 BC카드는 지난 5월 미국 애틀랜타에서 열린 '레드햇 서밋 2026'에 국내 금융사 중 처음으로 발표자로 초청돼 에이전틱 AI 플랫폼 운영 사례를 소개한 바 있다.