생성형 AI, 926조 투자 쇄도… 기업들 '하드웨어 승부' 본격화

생성형 AI에 대한 기업들의 투자 열풍이 거세게 이어지고 있다. 시장조사업체 가트너(Gartner)는 올해 전 세계 생성형 AI 지출액이 6,440억 달러(약 926조 원)에 이를 것으로 전망하며, 이는 지난해 대비 무려 76.4% 증가한 수치다. 초기 실험 단계를 넘어 본격적인 구현 단계로 접어든 만큼, 기업들은 AI 경쟁력 확보를 위한 대규모 투자를 단행하고 있다.

특히 이번 예측에서 주목할 점은 생성형 AI 지출의 대부분이 '하드웨어'에 집중되고 있다는 사실이다. 가트너 분석에 따르면 전체 지출의 80%에 해당하는 3,983억 달러(약 573조 원)가 AI 지원 디바이스 구매에 사용될 것으로 나타났다. 서버 구매는 1,806억 달러(약 260조 원)로 뒤를 이었고, 소프트웨어와 서비스 지출이 각각 372억 달러(약 53조 원), 278억 달러(약 40조 원)로 예측됐다. 이는 단순한 소프트웨어 기능 도입을 넘어 인프라 전반의 AI 대응 역량을 강화하려는 전략이 반영된 결과다.

가트너의 존 러브록(John Lovelock) 수석 애널리스트는 이러한 현상이 '수요보다 공급이 시장을 주도한 결과'라고 진단했다. 그는 "제조사는 AI 기능이 탑재된 기기를 생산하고 있으며, 소비자와 기업은 이를 그대로 수용하고 있다"며, "2027년이 되면 AI 기능이 없는 PC는 찾아보기 힘들 것"이라고 내다봤다. 즉 AI는 단일한 제품이 아닌, 소프트웨어와 하드웨어 전반에 녹아든 기능으로 자리잡게 된다는 의미다.

이로 인해 기업의 기술 투자전략에도 변화가 예상된다. 시간이 갈수록 하드웨어 지출 비중은 오히려 증가할 것으로 분석됐으며, 별도의 AI 솔루션보다는 기존 소프트웨어에 AI 기능이 자연스럽게 포함되는 형태가 보편화될 전망이다. 이 같은 예측은 자산 편성과 예산 책정 과정에서 기업이 고려해야 할 요소로 부각되고 있다.

그러나 생성형 AI에 대한 대규모 자금 투입에도 불구하고, 내부 AI 프로젝트 상당수가 실질적 성과를 내지 못하고 있다는 점은 우려를 낳고 있다. 러브록은 "AI 경험이 풍부한 기업은 비교적 성공 확률이 높았지만, 그렇지 않은 곳은 세 가지 이유로 실패하는 경우가 많았다"고 지적했다. 이 세 가지는 '데이터 품질 부족', '변화 저항', 'ROI 미달'이다. 즉, 데이터가 정확하지 않거나, 기술 도입에 대한 조직 내부의 거부감이 크고, 도입 이후 실질적인 수익으로 이어지지 않으면 프로젝트가 무산될 수밖에 없다.

이와 같은 실패 사례가 누적되면서, 기업들은 이제 자체 개발보다는 상용화된 생성형 AI 솔루션 선택에 무게를 두고 있다. 러브록은 "기술 책임자들은 점점 더 자체 개발보다는 벤더 솔루션 중심 전략으로 방향을 선회하고 있다"고 설명했다. 이는 AI 기능이 단독 제품이 아닌, 기존 시스템에 통합된 기능으로 제공되기 시작하면서 나타나는 구조적 변화다.

결국 성공적인 생성형 AI 도입 여부는 기술력보다 조직의 준비도에 달렸다. 조직이 고품질 데이터를 보유하고 구성원이 새로운 기술에 유연하게 적응하며, 그 기술이 명확한 비즈니스 이익으로 연결될 수 있어야만 수천억 달러에 달하는 투자가 빛을 볼 수 있다. 단순히 많은 돈을 쓰는 것이 아니라, 올바르게 쓰는 법을 아는 기업만이 AI 시대에서 앞서 나갈 수 있다는 점이 한층 분명해지고 있다.