前 구글·딥마인드 출신 뭉쳤다… '코지토 v1'로 오픈소스 LLM 반란 예고

신생 스타트업 딥 코지토(Deep Cogito)가 오픈소스 기반의 새로운 언어 모델 시리즈 '코지토 v1(Cogito v1)'을 공개하며 AI 시장에 도전장을 던졌다. 이 모델은 메타(META)의 라마(LLaMA)와 알리바바(BABA)의 췐(Qwen) 모델을 기반으로 하되, 기존 오픈소스 모델 대비 월등한 성능을 보였다고 회사 측은 밝혔다. 특히 자체 테스트 결과에서 코지토 v1의 최고 성능 모델은 700억 개의 파라미터를 가진 라마 3.3을 모든 평가 항목에서 앞선 것으로 나타났다.

딥 코지토는 2024년 6월 전직 구글(GOOGL) 출신 엔지니어와 딥마인드(DeepMind) 제품 매니저 출신 인물에 의해 설립됐다. 구체적인 투자금액은 공개되지 않았으나, 실리콘밸리의 저명 커뮤니티인 사우스파크 커먼스(South Park Commons)로부터 초기 자금을 유치한 것으로 알려졌다. 이번에 공개된 모델은 30억, 80억, 140억, 320억, 700억 파라미터 규모로 구성되어 있으며, 향후 1090억~6710억 파라미터에 이르는 초거대 모델도 출시할 계획이다.

딥 코지토의 언어 모델은 하이브리드 설계를 채택해, 일반적인 *LLM*처럼 단순 질의에 즉답할 수 있는 능력과, 데이터를 심층 분석해 고차원적 추론을 수행하는 리즈닝 모델의 특성을 동시에 갖췄다. 사용자의 필요에 따라 즉시 응답하거나 보다 복잡한 연산 과정을 거친 결과를 제공할 수 있다는 게 큰 특징이다. 핵심 기술은 'IDA(Iterated Distillation and Amplification)'라는 훈련 방식이다. 이는 고성능 LLM이 자체적으로 생성한 답변을 다시 모델 내부로 환류시켜, 스스로 더 정교한 추론 능력을 내재화하게 만든다는 개념이다.

기존의 디스틸레이션(Distillation) 기술이 대형 모델의 지식을 소형 모델로 전수하는 방식이라면, IDA는 원 모델 스스로 성능을 강화해 나가는 순환 구조를 지닌다. 개발팀은 이 방식이 매 반복마다 품질을 개선하는 '양의 피드백 루프'를 형성한다고 설명한다. 실제로 이 과정을 통해 딥 코지토의 모델은 작은 파라미터 수에서도 경쟁 모델을 뛰어넘는 효율성과 정확도를 구현했다고 주장한다.

시장에서는 오픈소스 LLM 생태계가 메타나 구글, 알리바바 등 거대 기술기업 중심으로 정체돼 있다는 비판이 꾸준히 제기돼 왔다. 이에 딥 코지토는 기술 혁신과 독창적 아키텍처를 바탕으로 새로운 가능성을 제시함으로써, 오픈소스 AI 생태계에 활기를 불어넣고 있다.

향후 수 주 내에 1000억 파라미터가 넘는 초대형 모델이 다수 출시될 예정이어서, 딥 코지토가 개방형 AI 시장의 판도를 실제로 바꿔놓을 수 있을지 업계의 관심이 집중되고 있다.