발스AI 4000만달러 유치…비공개 평가로 AI 업무 성능 검증

발스AI(Vals AI)가 4000만달러(약 555억원) 규모 시리즈A 투자를 유치하고 AI 모델과 에이전트의 실제 업무 수행능력을 평가하는 사업을 확대한다. 회사는 비공개 테스트셋을 활용해 법률·금융·코딩 등 산업별 성능을 측정하고 있다.

발스AI는 8월 13일 기업가치 4억달러(약 5548억원)를 기준으로 한 시리즈A 투자 유치를 발표했다. 안드리센호로위츠가 투자를 주도했으며 기존 투자자인 8VC·Pear VC·Bloomberg Beta와 신규 투자자인 HRT Ventures·Next Ladder Ventures가 참여했다.

TechCrunch는 발스AI가 2024년 설립됐으며 8VC와 Bloomberg Beta가 주도한 시드 투자를 유치했다고 보도했다. 시드 투자 규모는 공개되지 않았다.

회사는 AI 모델 자체를 개발하기보다 모델과 에이전트, 응용서비스가 실제 업무를 얼마나 잘 수행하는지 측정하는 데 초점을 맞춘다. 법률 리서치·금융 분석·의료 청구·코딩 등 산업별 과제를 대상으로 정확도뿐 아니라 비용·지연시간·실패 유형·도구 사용 능력도 함께 산출한다.

핵심 평가 방식은 비공개 테스트셋이다. 공개된 시험 문제가 모델 학습 데이터에 포함되거나 개발사가 시험 문제에 맞춰 모델을 조정하면 벤치마크 점수가 실제 성능을 반영하지 못할 수 있기 때문이다.

발스AI는 공개 검증 세트와 비공개 검증 세트, 비공개 테스트 세트를 구분하며, 공식 벤치마크 점수는 외부에 공개하지 않는 테스트 세트로 산출한다고 설명한다. 회사는 비공개 문항을 통해 평가 데이터가 학습에 유입되는 것을 막는다고 설명한다.

다만 비공개 방식은 재현성 측면에서 부담이 된다. 외부 연구자가 같은 문제와 조건으로 실험하기 어렵기 때문에, 발스AI는 평가 인프라와 일부 도구를 공개해 실행 과정의 재현성을 보완하고 있다.

평가 범위도 넓히고 있다. 발스AI는 CoreWeave와 함께 AI 모델이 다음 모델을 개발하는 데 필요한 연구를 수행할 수 있는지를 평가하는 RSI Index를 공개했으며, 사이버보안과 정신건강 관련 평가도 추진하고 있다.

발스AI는 Vals Smith도 공개했다. 이용자는 GitHub 저장소를 기반으로 맞춤형 코딩 벤치마크를 만들 수 있으며, 초기 이용자에게 120개 무료 크레딧이 제공된다.

회사는 매출이 2025년 전체와 비교해 8배 증가했고 고객 기반은 2배, 직원 수는 최근 6개월 동안 3배 늘었다고 밝혔다. 해당 수치는 회사 발표에 따른 것으로 외부 감사 여부는 확인되지 않았다.

Vals Index는 2026년 9월 15일 기준 금융·코딩·법률 업무에서 AI 에이전트의 성능을 측정하고 미국 GDP에서 각 산업이 차지하는 비중을 반영해 종합 점수를 산출했다. 당시 평가 대상 모델은 58개였다.

레이언 크리슈넌(Rayan Krishnan) 발스AI 공동창업자는 기존 학술 벤치마크가 빠르게 발전하는 AI 모델을 따라가지 못한다고 말했다. 모델이 실제 업무에서 인간과 비슷한 품질의 결과를 내는지와 부정적 결과를 일으킬 가능성까지 평가해야 한다는 설명이다.

발스AI는 자사 평가 결과가 오픈AI(OpenAI)·앤트로픽(Anthropic)·구글(Google)·메타(Meta)·xAI의 모델 카드에 인용됐다고 밝혔다. 다만 투자자들이 AI 기업들과 맺고 있는 관계가 평가 독립성에 어떤 영향을 미치는지는 별도 검증이 필요하다.

AI 모델 개발사와 기업 고객이 늘어날수록 실제 업무 성능을 비교할 공통 기준의 중요성도 커진다. 비공개 테스트셋은 데이터 오염을 줄일 수 있지만, 평가 결과의 투명성과 재현성을 어떻게 확보할지는 발스AI가 풀어야 할 과제다.

발스AI는 이번 투자와 함께 AI 모델 평가 도구와 평가 영역을 확대한다고 밝혔다. 회사는 법률·금융·코딩을 넘어 의료와 사이버보안 등으로 평가 범위를 확장하고 있다.