노타가 2360억 개 파라미터 규모의 초대형 AI 모델을 국산 AI 반도체 환경에 성공적으로 최적화하며 '소버린 AI' 생태계 구축의 포문을 열었다.
노타는 30일 퓨리오사AI의 데이터센터용 NPU(신경망처리장치)에서 LG AI연구원의 국가대표 AI 모델 'K-엑사원(EXAONE) 236B' 최적화에 성공했다고 밝혔다.
K-엑사원 236B는 약 2360억 개 파라미터 규모의 대형 AI 모델이다. 노타는 이 모델의 크기를 약 71% 줄여 대형 AI 모델 구동에 필요한 메모리 부담을 낮췄다.
모델 전체를 재조정하는 대신 성능 저하가 발생할 수 있는 일부 구간을 정밀하게 분석한 뒤 필요한 부분에만 최적화를 적용해 성능 손실을 최소화했다.
성능 평가에서도 높은 정확도를 보였다. 자체 평가 환경 기준으로 노타가 최적화한 모델은 과학 추론 항목(GPQA)에서 79.80점을 기록했다.
지시 이해 항목(IFBench)은 68.98점, 수학 문제 해결 항목(AIME25)은 88.57점이었다. 최적화 전 원본 모델의 성능은 각각 79.1점, 67.3점, 92.8점으로, 최적화 이후에도 3개 주요 평가 항목 단순 평균 기준 원본 대비 약 99.2%의 정확도를 유지했다.
K-엑사원 236B는 여러 전문가 모델을 선택적으로 활용하는 MoE 구조를 채택하고 있다. MoE 구조는 대형 모델의 효율을 높이지만, 각 전문가 모델이 안정적으로 작동하도록 하는 정교한 기술이 요구된다. 프론티어급 대형 모델은 긴 추론 과정을 거치는 만큼 양자화 과정에서 발생한 작은 오차도 최종 답변의 정확도에 영향을 줄 수 있다.
이번 성과는 실제 서비스에 필요한 성능과 안정성을 확인했다는 점에서 의미가 크다. 퓨리오사AI의 데이터센터용 NPU, LG AI연구원의 고도화된 AI 기술력, 노타의 AI 모델 최적화 기술이 결합한 결과다.
최근 글로벌 AI 산업에서는 자국 내 AI 모델과 컴퓨팅 인프라를 확보하려는 소버린 AI 흐름이 주목받고 있으며, 이번 사례는 국산 AI 반도체와 국내 AI 모델, 최적화 기술이 함께 발전해야 한다는 점을 보여준다.
채명수 노타 대표는 "소버린 AI가 주목받는 흐름 속에서 중요한 것은 모델, 반도체, 최적화 소프트웨어가 하나의 실행 가능한 AI 인프라로 연결되는 것"이라며 "이번 성과는 퓨리오사AI의 데이터센터용 NPU, LG의 국가대표 AI 모델 K-엑사원, 노타의 최적화 기술이 결합해 대형 AI 모델의 실제 운영 가능성을 확인한 사례"라고 말했다.
