GLM-5.3 에이전트, 추론 처리량 3.2배 높였다

GLM-5.3 기반 인프라 에이전트가 GLM-5.3-Flash의 추론 시스템 최적화에 참여해 엔드투엔드 처리량을 초기 대비 3.2배 높였다. 첫 실행부터 전체 운영 트래픽을 맡기까지 걸린 시간은 2주가 되지 않았다.

지스푸는 GLM-5.3 기반 인프라 에이전트가 GLM-5.3-Flash 추론 시스템 개선에 참여했다고 밝혔다. 블록비트는 지스푸의 설명을 인용해 에이전트가 코드 수정과 성능 점검, 원인 분석을 반복했다고 전했다.

이번 사례는 AI 에이전트가 코드를 작성하는 데 그치지 않고 실행 결과를 측정하고 다음 수정 방향을 정하는 과정까지 수행했다는 점에서 주목된다. 성능 개선 작업의 일부를 자동화한 구조가 실제 운영 환경에 적용됐다는 설명이다.

탕제(Tang Jie) 지스푸 공동창업자 겸 수석과학자는 에이전트가 가장 쉽게 막히는 지점이 코드 작성 자체가 아니라 문제의 원인을 찾는 일이라고 설명했다. 한 차례 수정으로 처리량이 20% 떨어졌다는 사실은 확인해도 어느 계층에서 문제가 생겼는지, 다음에 무엇을 점검해야 하는지는 별도의 분석이 필요하다는 의미다.

지스푸는 숙련된 엔지니어가 성능 문제를 추적하는 방식을 에이전트가 사용할 수 있는 도구로 만들었다. 에이전트는 코드를 바꾼 뒤 결과가 정상인지 확인하고 실행 시간이 어느 부분에서 발생했는지 분석했다.

이후 여러 대안을 비교해 더 빠른 방식을 찾고 다시 코드를 수정했다. 한 번의 수정 결과만 보는 것이 아니라 가설을 세우고 실험한 뒤 결과를 다음 작업에 반영하는 순환 구조다.

에이전트는 긴 문맥을 처리하는 과정의 계산 오차와 KV 전송 병목, 디코딩 커널의 중복 계산 문제를 찾아냈다. 이 가운데 커널 하나를 다시 작성한 뒤 처리 속도는 1.71배 높아졌다.

커널은 AI 모델의 연산을 수행하는 저수준 코드 단위다. 같은 모델이라도 커널의 실행 방식과 데이터 이동 구조에 따라 추론 속도와 자원 사용량이 달라질 수 있다.

KV 전송은 추론 과정에서 생성된 중간 상태 정보를 다른 연산 단계나 장치로 전달하는 작업이다. 이 과정에 병목이 생기면 모델 자체의 성능과 별개로 전체 응답 처리량이 낮아질 수 있다.

지스푸는 앞서 GLM-5.3-Flash의 추론 성능과 비용 정보를 공개했다. 이번에는 모델 자체의 성능 수치보다 이를 서비스하는 추론 시스템을 에이전트가 최적화했다는 점이 부각됐다.

이 같은 작업에서 사람은 목표와 경계를 정하고 위험도가 높은 수정 사항을 검토한다. 에이전트는 성능 저하 원인을 추적하고 가설에 따라 코드를 바꾼 뒤 실험을 진행하는 역할을 맡는다.

탕제는 엔지니어의 역할이 점점 '피드백을 설계하는 사람'에 가까워질 것으로 봤다. 사람의 검토와 에이전트의 반복 실험을 결합해 성능 개선 주기를 줄이는 방식이다.

다만 이번 사례를 완전한 재귀적 자기개선(RSI)으로 보기는 어렵다. 탕제는 모델이 시스템을 최적화하고 그 시스템이 다시 모델을 서비스하는 '최소 폐쇄고리'가 나타났다고 설명했지만, 완전한 RSI와는 거리가 있다고 밝혔다.