'AI 기술 검증' 카카오, 자체 개발 언어모델 '카나나' 공개

한국어·영어 특화 모델…'카나나 나노' 오픈소스 배포

카카오가 자체 개발 AI 모델 '카나나'를 공개하며 AI 기술 검증에 나선다.

카카오는 27일 자체 개발 언어모델 '카나나'의 연구 성과를 담은 테크니컬 리포트를 '아카이브'에 공개했다고 밝혔다.

테크니컬 리포트는 매개변수, 학습 방법, 학습 데이터 등 세부 사항을 담은 AI 논문이다. 카카오는 이번 리포트에 다양한 사이즈의 카나나 언어 모델 전체 트레이닝 과정을 담았다. 또 카나나 모델의 구조, 학습 전략, 글로벌 벤치마크 성과도 함께 소개했다.

카카오는 지난해 초거대 언어모델 '카나나 플래그'의 학습을 완료했다. 이를 통해 지난해 10월 개발자 컨퍼런스 '이프 카카오 2024'에서 공개한 카나나 언어모델의 전체 라인업 '카나나 플래그, 카나나 에센스, 카나나 나노'를 모두 구축했다.

카나나 플래그는 글로벌 최고 수준의 한국어·영어 성능을 달성했다. 한국어 성능을 평가하는 'LogicKor', 'KMMLY' 벤치마크에서 타 모델 대비 우수한 처리 능력을 보였고 영어 성능을 평가하는 'MT-bench', 'MMLU' 벤치마크에선 경쟁 모델과 유사한 성과를 기록했다. 또 학습 자원 최적화를 통해 유사 사이즈 모델 대비 50% 이상 비용을 절감하며 SOTA(State-of-the-Art) 수준의 효율성과 성능을 구현했다.

카카오는 대규모 언어모델의 학습 효율을 높이기 위해 'Staged pre-training', 'Pruning(중요 모델 구성 요소만 남기는 기법)', 'Distillation(큰 모델의 지식을 작은 모델에 전달하는 기법)', 'DUS(깊이 업스케일링)' 등의 학습 기법을 적용했다. 이를 통해 경량 모델 '카나나 나노 2.1B'부터 초거대 모델 '카나나 플래그 32.5B'까지 다양한 사이즈의 고성능 모델을 유사 크기 모델 대비 절반 이하의 학습 비용으로 구현했다.

카카오는 향후 카나나 모델에 '강화 학습'과 '연속 학습' 기반 최신 기술을 적용해 추론·수학·코딩 능력을 강화하고 정렬 기술을 고도화해 요청 수행 정확도를 높일 계획이다. 이를 통해 이미지·음성·영상 등 다양한 형태로 소통 가능하도록 모델을 고도화하고 일상 생활에 자리잡을 수 있도록 기술 경쟁력을 강화할 방침이다.

이와 함께 카카오는 자체 개발 경량 모델 카나나 나노 2.1B 를 깃허브에 오픈소스로 공개했다. 카나나 나노 2.1B 베이스 모델과 인스트럭트 모델, 임베딩 모델이 깃허브를 통해 제공된다.

카나나 나노 2.1B는 연구자와 개발자가 활용하기 적절한 크기 모델로 온디바이스 환경에서도 활용 가능한 고성능의 경량 모델로, 비교적 작은 규모임에도 유사한 크기의 글로벌 모델에 견줄 만한 성능을 자랑한다. 지난달 카카오 공식 테크블로그를 통해 공개한 바와 같이, 한국어와 영어 처리 능력에서 뛰어난 결과를 보여준다.

카카오는 이번 오픈소스 공개를 통해 AI 기술의 접근성을 높이고자 하며, 연구자와 개발자들이 해당 모델을 토대로 다양한 응용을 시도할 수 있도록 모델의 업데이트를 지속 지원할 계획이다.

김병항 카카오 카나나 성과리더는 "모델 최적화와 경량화 기술을 바탕으로 라마, 젬마 등 글로벌 AI 모델과 견줄 수 있는 고성능의 자체 언어모델 라인업을 효율적으로 확보하게 됐으며, 이번 오픈소스 공개를 통해 국내 AI 생태계 활성화에 기여할 수 있을 것으로 기대한다"며 "앞으로도 효율과 성능 중심의 실용적이고 안전한 AI 모델을 개발해가며, 지속적 기술 혁신을 통해 AI 경쟁력을 강화해 갈 계획"이라고 말했다.

[신아일보] 임종성 기자

ijs6846@shinailbo.co.kr

이 기자가 작성한 다른 기사 전체보기