엔비디아(NVDA) 최고경영자 젠슨 황(Jensen Huang)이 주도하는 AI 시대의 전환이 본격화되고 있다. 황 CEO는 최근 GTC 2025 기조연설에서 ‘클라우드’, ‘엔터프라이즈’, 그리고 ‘로보틱스’라는 세 가지 주요 인공지능(AI) 도입 축을 집중적으로 조명하며, 향후 10년 안에 데이터센터 구조가 완전히 변할 것이라고 예고했다.
과거에는 데이터를 수집하고 저장한 뒤 분석과 시각화를 통해 의사결정을 하는 방식이 주를 이뤘다면, 이제는 실시간으로 지식 기반 콘텐츠를 생성하고 자동화된 판단을 수행하는 체계로 전환되고 있다. 이러한 변화는 실리콘, 인프라, 보안, 미들웨어, 개발 도구, 애플리케이션 등 컴퓨팅 스택 전체를 재편하고 있다.
엔비디아는 특히 공공 클라우드와 온프레미스 환경 모두를 아우르는 ‘AI 팩토리’를 제안하며, 자사 하드웨어와 소프트웨어 생태계를 통합한 새로운 컴퓨팅 모델을 제시했다. 퍼블릭 클라우드는 대규모 컴퓨팅 능력과 숙련된 운영 인력을 바탕으로 AI 인프라 구축의 최전선에 자리하고 있다. 메타(META), 구글(GOOGL), 애플(AAPL), 바이트댄스 등 소비자 중심 기업들의 적극적인 투자가 이 시장을 견인 중이다.
반면 엔터프라이즈 부문은 보다 더디게 움직이고 있다. 데이터 중력, 제한된 AI 최적화 솔루션, 내부 전문인력 부족 등이 주요 장애 요소로 작용하고 있으며, 델(DELL), 휴렛팩커드(HPE), IBM(IBM) 등 전통적인 인프라 기업들이 맞춤형 AI 스택을 내놓기 시작하긴 했지만, 여전히 하드웨어 중심의 구조에서 벗어나지 못하고 있다.
흥미로운 점은 ‘리얼 월드 AI’, 즉 물리적 로봇에 대한 전망도 밝혔다는 점이다. 젠슨 황은 인간형 로봇뿐 아니라 공장, 물류, 방위 산업 등에서 이미 역할을 수행 중인 단일 목적 로봇의 시장성을 강조했다. 특히 엔비디아의 ‘아이작(Isaac)’ 플랫폼은 블루 휴머노이드 로봇 시연을 통해 AI가 가상세계를 넘어 현실에 직접 작동하는 시대로 나아가고 있음을 명확히 보여줬다.
한편, 전체 데이터센터 시장의 변화 속도는 놀라울 정도다. ‘초병렬연산(EPP)’으로 불리는 가속화 컴퓨팅은 기존 x86 기반 구조를 대체하며 2030년까지 전체 투자액의 약 85%를 차지할 것으로 예상된다. 이 추정에 따르면 AI 전용 데이터센터 시장은 2032년경 약 1조 달러(약 1,440조 원) 규모로 성장하며, 그 중 약 20%는 전통 기업의 자체 구축 형태일 전망이다.
AI 도입 확산의 핵심 요소로는 예측 모형 ‘3V(Volume, Value, Velocity)’가 제시됐다. 생산량의 증가(Volume)는 비용을 낮추고, 기술의 효용성(Value)은 수요를 확대하며, 빠른 도입 속도(Velocity)는 종전 기술을 빠르게 대체하는 시장 구조를 만든다는 분석이다.
이러한 AI 기반 컴퓨팅 구조의 재편에는 에너지 효율성이 높은 설비와 고밀도 액체 냉각 기술, 차세대 운영체제인 '다이너모(Dynamo)'가 중심축으로 부상하고 있다. 실제로 엔비디아는 이운영체제를 통해 수천 개의 GPU가 실시간 추론 작업을 최적화할 수 있도록 설계하며 AI 팩토리 기반 구조를 고도화하고 있다.
다만 엣지 컴퓨팅 분야에서는 상황이 다르다. 초소형, 저전력 기반의 RISC-V 또는 ARM 아키텍처가 대량 배치되는 환경에서는 엔비디아의 고성능 하드웨어가 상대적으로 비효율적일 수 있다는 지적도 나오며, 다양한 설계가 공존할 가능성이 크다.
이러한 가운데도 AI에 대한 투자 우선순위는 여전히 강력하다. 엔터프라이즈 테크놀로지 리서치(ETR)에 따르면, 기업의 전반적인 IT 지출은 거시경제 불확실성 속에 감소했지만 AI 관련 예산은 절반 이상의 기업에서 유지하거나 확대되고 있는 실정이다. 정책 불확실성과 관세 논란은 존재하지만, AI의 가능성이 이 같은 장벽을 상쇄하고 있다는 평가가 지배적이다.
궁극적으로 AI 인프라의 패권 다툼은 단순히 하이퍼스케일러의 경쟁을 넘어, 데이터 위치, 규제 준수, 자동화 역량까지를 종합적으로 고려한 복잡한 전장이 될 것으로 보인다. 향후 1~2년이 기업형 AI 인프라 공급사가 생태계를 정비하고 클라우드 독점을 견제할 수 있는 결정적 시점이라는 전망이 제시됐다.