세일즈포스 AI 에이전트 성공률 43.5%→93.0%

세일즈포스 AI 에이전트의 웹 작업 성공률이 모델 가중치를 바꾸지 않은 상태에서 43.5%에서 93.0%로 높아졌다. 연구진은 프롬프트와 도구, 메모리, 제어 흐름을 포함한 실행 구조를 진화시키는 방식으로 성능을 개선했다.

세일즈포스(Salesforce, $CRM) AI 리서치와 Agentforce 소속 연구자 12명은 2026년 7월 31일 제출한 논문 ‘DarwinX: Evolving Agent Harnesses Through Natural Selection’에서 이 같은 결과를 제시했다. 논문은 AI 모델 자체를 재학습하지 않고 작업 수행 구조를 개선하는 프레임워크를 설명한다.

DarwinX가 바꾸는 대상은 ‘하네스’다. 하네스는 AI 모델이 프롬프트와 도구, 메모리, 스킬, 제어 흐름을 이용해 실제 작업을 수행하도록 구성한 실행 구조를 뜻한다.

DarwinX는 하나의 개선 경로를 반복하지 않고 여러 하네스 변형을 동시에 유지한다. 기존 작업을 크게 훼손하지 않으면서 새로운 작업을 해결한 변형을 남기고, 서로 다른 변형에서 얻은 기능을 결합한다.

가장 큰 개선은 WebArena-Infinity 평가에서 나타났다. 동일한 GPT-5.5 모델을 사용했을 때 기본 하네스의 감사 후 pass@1은 43.5%였지만, DarwinX 적용 하네스는 93.0%를 기록했다.

pass@1은 한 번의 시도에서 작업을 성공한 비율이다. 전체 1260개 실제 웹 작업 가운데 성공 건수는 기본 하네스의 548건에서 DarwinX 적용 후 1171건으로 늘었다.

성공 과정의 적법성도 감사 대상에 포함됐다. 무효 궤적은 기본 하네스의 293건에서 DarwinX 적용 후 17건으로 줄었고, 평가 영역이나 특권 호스트에 접근하는 유형은 사라졌다고 논문은 밝혔다.

다만 해당 감사는 연구진이 생성한 궤적에 적용됐다. 외부 비교 대상에는 같은 심사가 적용되지 않아 성능 수치를 안전성 측면에서 그대로 비교하기는 어렵다.

다른 평가에서도 개선 결과가 제시됐다. Terminal-Bench 2.1에서 GPT-5.5 기준 성능은 75.5%에서 83.2%로 올랐고, GPT-5.6 솔에서는 84.7%를 기록했다.

별도 보류 과제인 TerminalWorld에서는 41개 과제 중 28개를 해결했다. Terminal-Bench 2.1에서 진화한 하네스를 SWE-bench Verified에 수정 없이 적용한 결과는 84.2%였다.

연구진은 단일 하네스를 한 경로로만 개선할 경우 특정 작업의 성능이 오르는 대신 다른 작업에서 후퇴할 수 있다고 설명했다. 여러 계보를 동시에 유지하는 DarwinX의 방식은 이런 성능 편향을 줄이는 데 초점을 맞췄다.

평가에는 각 벤치마크의 검증기가 사용됐다. 별도 정답지나 연구진이 고른 우승 변형에 의존하지 않고, 작업별 검증 결과를 기준으로 하네스의 성능을 비교한 점이 특징이다.

이번 연구는 AI 에이전트의 실행 경험을 지식으로 축적해 성능을 높인 위키스킬 연구와 함께 모델 파라미터를 직접 바꾸지 않는 성능 개선 흐름을 보여준다. 위키스킬이 성공과 실패의 흔적을 지식 구조로 바꿨다면, DarwinX는 프롬프트와 도구 사용, 제어 흐름을 포함한 실행 구조 자체를 진화시켰다.

다만 에이전트포스의 사업 지표가 분기 매출이 아닌 연간반복매출로 제시됐던 사례처럼 연구 성과와 상업적 성과는 구분해 볼 필요가 있다.

논문은 연구 단계의 결과로, 실제 제품 배포나 매출 효과를 제시하지 않았다. 하네스 재조합이 단일 계보의 변이보다 얼마나 기여했는지도 통제된 절제 실험으로 분리되지 않아, 실제 서비스 환경에서의 재현성과 운영 비용은 추가 검증이 필요하다.