WekaIO, AI·HPC 성능 혁신하는 차세대 데이터 플랫폼 공개

데이터 처리 속도가 갈수록 중요해지는 가운데, WekaIO가 AI 및 고성능 컴퓨팅(HPC) 워크로드를 가속화할 수 있는 혁신적인 데이터 플랫폼을 선보였다. 이는 전통적인 스토리지 환경의 한계를 극복하고, 대규모 데이터 처리를 위한 최적의 솔루션을 제공하는 데 초점을 맞춘다.

WekaIO의 CTO인 시몬 벤-데이비드는 최근 인터뷰에서 "우리는 타협 없는 데이터 환경을 구축하기 위해 Weka를 개발했다"며 "기존 스토리지 시스템은 성능과 확장성 사이에서 선택을 강요했지만, 우리는 이를 해결할 수 있는 파일 시스템을 만들었다"고 설명했다.

특히 Weka의 플랫폼은 분산된 공유 파일 시스템을 핵심으로 하며, GPU 기반 컴퓨팅 환경과 원활히 연동된다. 이를 통해 AI 및 HPC 워크로드에서 데이터 이동에 따른 병목을 최소화하고, GPU 성능을 극대화할 수 있다. 벤-데이비드는 "일반적인 GPU 서버에서는 데이터를 로컬 NVMe 드라이브로 복사해야 하지만, Weka는 이 과정을 생략하고 GPU 환경 전반에서 공유, 보호 및 확장될 수 있도록 설계됐다"고 강조했다.

AI 추론(inferencing) 부문에서도 Weka의 기술력은 주목받고 있다. 대규모 AI 모델은 엄청난 연산 능력과 메모리 대역폭을 요구하는데, Weka는 이를 해결하기 위해 GPU 메모리를 확장하는 분산 키-값 캐시 시스템을 개발했다. 벤-데이비드는 "GPU는 한정된 메모리로 인해 생성할 수 있는 토큰 수가 제한된다"며 "Weka의 저지연 고성능 환경을 활용해 GPU 메모리의 다음 계층으로 확장하는 방안을 구현했다"고 밝혔다.

이러한 혁신적인 접근 방식 덕분에 Weka는 ‘가장 혁신적인 데이터 플랫폼(Most Innovative Data Platform)’ 부문에서 CUBEd Award를 수상했다. AI와 클라우드 환경이 지속적으로 고도화되는 가운데, Weka의 기술이 향후 기업들의 데이터 운영 방식에 어떤 변화를 가져올지 주목된다.