인공지능(AI) 테크 기업 크라우드웍스가 한국형 AI 모델을 위한 KT 컨소시엄의 '데이터 품질관리 타워' 역할을 맡는다.
크라우드웍스는 23일 과학기술정보통신부 주관 '한국형 초거대 인공지능(LLM) 모델 개발 사업'에 KT 컨소시엄의 데이터 구축 파트너로 참여한다고 발표했다. 이번 사업은 국내 독자적 초거대언어모델 개발을 통해 AI 경쟁력 강화를 목표로 하는 정부 주도 프로젝트다.
KT 컨소시엄에는 솔트룩스·매스프레소·고려대학교 의료원·경찰청·서울대학교·투모로 로보틱스 등 산·학·연·공 18개 기관이 포함됐다. 크라우드웍스는 대규모 학습용 데이터 수집·전처리·품질 관리 등 핵심 역할을 맡는다.
크라우드웍스는 한국어 기반 LLM 학습에 적합한 데이터를 보유하고 있다. 국내 도서 2000권에 대한 저작권을 확보했다. 소프트웨어 코드 기반 데이터셋과 의료·건강 분야 비식별화 데이터 약 30만건도 보유 중이다. 이 데이터들은 모두 한국어 기반 LLM 학습에 적합하도록 전처리 및 가공이 완료됐다.
크라우드웍스는 데이터 가공 솔루션 '워크스테이지'를 통해 고품질 데이터를 효율적으로 관리할 수 있는 시스템을 구축하고 있다. 데이터 전처리 자동화 및 품질 관리 분야에서 120여건의 특허를 출원·등록했다.
크라우드웍스 관계자는 "이번 컨소시엄 참여를 통해 한국어 기반 AI 모델 개발에 필요한 고품질 데이터 공급에 집중할 계획"이라고 말했다.
한편, 지난 21일 마감된 과제 신청에는 총 15개 컨소시엄이 참여했다. 과학기술정보통신부는 이달 말 10개 후보 컨소시엄을 1차 선정한다. 8월 초 최종 5개 사업자를 발표할 예정이다.
