- 104억 규모 국책과제 참여… 리벨리온·ETRI 등과 LLM-RAG 분산추론 실증 2029년까지 개발

<이미지. 코난테크놀로지가 과학기술정보통신부가 추진하는 ‘이종 AI반도체용 분산 추론 및 모델 최적화 기술 개발’ 과제에 선정됐다.>(이미지 제공 = 코난테크놀로지)

인공지능 소프트웨어 전문기업 코난테크놀로지(대표 김영섬 www.konantech.com)가 과학기술정보통신부가 추진하는 K-클라우드 기술개발 사업의 일환인 이종 AI반도체 기반의 분산 추론 및 모델 최적화 기술 개발 과제에 선정됐다. 

과제명은 ‘이종 AI반도체용 분산 추론 및 모델 최적화 기술 개발’(과제 번호 : RS-2025-02305453)이다. 총 사업비 104억원 규모로 진행되며, 2025년 4월부터 2029년 12월까지 약 4년 9개월간 수행된다. 주관연구개발기관은 한국전자통신연구원(ETRI)이며, 공동 연구 컨소시엄에는 리벨리온, 서울대학교, 한국과학기술원이 포함됐다. 

최근 LLM 기반 서비스 수요는 급증하고 있으나, 높은 추론 비용이 제약으로 작용하고 있다. 이를 해소하기 위해 NPU와 PIM 등 다양한 토토 캔반도체를 활용한 최적화 기술과 분산 소프트웨어 개발의 중요성이 커지고 있다.
 
이렇듯 다양한 종류의 토토 캔반도체를 연동한 환경에서 효율적인 분산 추론 및 모델 최적화 기술을 확보하는 것이 과제의 목표다. 이를 통해 이종 토토 캔반도체 환경에서 토토 캔 모델을 유연하게 실행할 수 있는 서비스 프레임워크, 다양한 토토 캔 가속기 기반 자원을 통합 관리하는 스케줄링 시스템, 그리고 실제 사용자 단말에서 구동 가능한 LLM-RAG 기반 통합 실증 서비스 등이 개발될 예정이다.

그 중 코난테크놀로지는 이종 토토 캔반도체 환경에서의 LLM-RAG 분산 추론 통합 실증 서비스를 맡아 수행할 계획이다. 토토 캔 소프트웨어 분야의 기술력과 LLM·RAG 개발 경험을 기반으로, 다양한 반도체 환경에서도 안정적인 토토 캔 서비스 구동이 가능한 기술적 기반을 확보하고, 고성능 분산 추론 구조의 실증 사례를 통해 국내 토토 캔 기술의 자립성과 경쟁력 제고에 기여할 것으로 기대된다.

과제 연구개발 책임자인 오창민 코난테크놀로지 언어음성연구소 상무는 “국내 토토 캔 인프라의 기술 자립을 위한 핵심 과제에 참여하게 되어 의미가 크다”며 “이종 토토 캔반도체 기반 추론 환경에서 고도화된 실증 서비스를 현실화하고, 차세대 토토 캔 인프라 상용화에 기여하겠다”고 밝혔다.

한편, 코난테크놀로지는 내달 13일 열리는 ‘2025 코난테크놀로지 토토 캔쇼케이스-미디어 브리핑’을 통해 코난 LLM, 코난 RAG-X를 포함한 신규 생성형 토토 캔 제품들을 소개하고, 사업화 전략을 제시한다.