Liquid AI, 트랜스포머 넘는 엣지 LLM 'Hyena Edge' 공개… 스마트폰 AI 진화 이끈다

Liquid AI가 스마트폰과 같은 엣지 디바이스에서 대형 언어 모델(LLM)의 한계를 뛰어넘기 위해 새로운 모델 'Hyena Edge'를 공개했다. 이 모델은 현재 널리 사용되는 트랜스포머(Transformer) 아키텍처 기반의 GPT(OpenAI) 시리즈나 구글(GOOGL)의 제미니(Gemini) 제품군과는 다른 방향을 제시하며, 보다 빠르고 메모리 효율적인 AI 모델을 목표로 개발됐다.

Hyena Edge는 해외 주요 머신러닝 학회 중 하나인 국제 학습 표현 학회(ICLR) 2025를 앞두고 공식 발표됐다. 실제 테스트에서는 삼성 갤럭시 S24 울트라 스마트폰에서 성능을 검증했으며, 기존 트랜스포머++ 모델 대비 지연 시간(latency)과 메모리 사용량 모두 우수한 결과를 기록했다.

Liquid AI는 모델 최적화를 위해 기존 주류인 어텐션(attention) 중심 설계에서 과감히 벗어났다. 구체적으로는 기존 모델의 그룹드 쿼리 어텐션(GQA) 연산자의 3분의 2를 새로운 형태의 게이트드 컨볼루션(gated convolution)으로 대체하는 혁신을 단행했다. 이러한 변화는 지난해 12월 Liquid AI가 공개했던 'STAR' 프레임워크를 통해 이뤄졌으며, 하드웨어별 특성에 최적화된 모델 아키텍처를 자동으로 설계하는 과정을 거쳤다.

삼성 갤럭시 S24 울트라에서 실시된 벤치마크 결과에 따르면, Hyena Edge는 짧은 문장 길이에서도 높은 응답성과 빠른 처리 속도를 보였으며, 시퀀스 길이가 길어질수록 성능 격차가 더욱 벌어졌다. 동시에 모델 추론 과정에서 사용하는 메모리 용량도 경쟁 모델보다 일관되게 적어, 자원 제약이 심한 환경에서도 뛰어난 성능을 발휘할 수 있음을 입증했다.

추가적으로, Hyena Edge는 Wikitext, Lambada, PiQA, HellaSwag, Winogrande, ARC-easy, ARC-challenge 등 여러 글로벌 언어 모델 벤치마크에서 우수한 결과를 달성했다. 특히 Wikitext 및 Lambada에서 당황도(perplexity) 점수가 크게 개선됐고, PiQA와 HellaSwag, Winogrande에서는 정확도가 상승했다. 이는 엣지 최적화 과정에서도 예측 품질 저하 없이 성능을 끌어올릴 수 있다는 것을 보여준다.

Hyena Edge 개발 과정의 변화를 담은 비디오도 공개됐다. 해당 영상에서는 주요 설계 요소인 셀프 어텐션(Self-Attention), 다양한 Hyena 계열 연산자, 그리고 SwiGLU 레이어의 비율이 세대별로 어떻게 달라졌는지 살펴볼 수 있다. 이를 통해 Liquid AI가 아키텍처 최적화에 있어 어떤 전략적 선택을 했는지 확인할 수 있다.

Liquid AI는 앞으로 Hyena Edge를 포함한 Liquid 베이스 모델들을 오픈소스화할 계획을 밝혔다. 이들은 클라우드 데이터센터부터 스마트폰까지 다양한 스케일에 대응하는 범용 AI 시스템 구축을 목표로 하고 있다. Hyena Edge의 등장은 트랜스포머 일변도로 굳어진 시장에 새로운 대안을 제시함과 동시에, 자동화된 모델 설계 방법론의 가능성까지 입증했다. Liquid AI가 향후 시장에서 주목받을 가능성도 한층 높아진 셈이다.