오픈라우터, 배치 API 출시…토큰 가격 대부분 절반

오픈라우터가 실시간 응답이 필요하지 않은 인공지능 작업을 묶어 처리하는 배치 API를 출시했다. 대부분 모델의 입력·출력 토큰 가격을 절반 수준으로 낮추고, 결과는 최대 24시간 안에 반환한다.

오픈라우터는 22일 공식 블로그에서 배치 API를 공개했다고 밝혔다. 현재 70개가 넘는 모델을 지원하며, 사용자는 여러 요청을 한 번에 제출한 뒤 처리가 끝나면 결과를 받을 수 있다.

할인은 모델별 입력·출력 토큰 가격에 적용된다. 일부 모델은 절반보다 낮은 가격이 적용될 수 있어 최종 비용은 모델과 요청 유형에 따라 달라진다.

배치 API는 즉시 결과를 받아야 하는 대화형 요청보다 대량 처리에 맞춰 설계됐다. 문서 분류, 임베딩 생성, 평가 데이터셋 채점, 고객 문의 요약처럼 처리 시간을 유연하게 조정할 수 있는 작업이 대상이다.

지원 요청 유형에는 채팅 완성, 응답형 API, 메시지, API 기반 임베딩 요청이 포함된다. 여러 작업을 개별적으로 반복 호출하는 대신 하나의 배치로 제출할 수 있는 구조다.

처리 기한은 최대 24시간이지만 실제 완료 시간은 이보다 짧았다고 오픈라우터는 설명했다. 2주간 진행한 베타 기간에 완료된 배치 작업은 23만 건을 넘었고, 완료 시간의 중앙값은 7분이었다.

전체 작업의 90%는 1시간 안에 끝났다. 다만 모든 작업이 같은 속도로 처리되는 것은 아니며 제출 시점과 작업 규모에 따라 차이가 났다.

오픈라우터가 공개한 분석에서 요청 1건으로 구성된 배치는 대체로 5~11분 안에 완료됐다. 1000건 이상 요청이 포함된 배치는 12~21분이 걸렸고, 느린 작업은 제출 시간대에 따라 완료까지 수 시간이 소요되기도 했다.

비용 절감 효과는 결과를 기다릴 수 있는 작업에서 가장 크게 나타난다. 실시간 응답이 필요한 서비스나 즉각적인 대화형 기능에는 기존 방식이 필요하다.

웹 검색 호출은 배치 할인 대상에서 제외된다. 이미지와 파일을 입력할 때는 공개 URL을 사용해야 한다고 오픈라우터는 안내했다.

오픈라우터는 각 배치를 하나의 공급자가 처리하도록 운영한다. 사용자는 모델과 공급자 설정, 데이터 정책에 따라 요청을 라우팅할 수 있다.

배치별 모델·공급자·상태·비용은 로그에서 확인할 수 있다. 이를 통해 이용자는 작업별 처리 현황과 비용을 따로 점검할 수 있다.

처리 결과와 입력 데이터는 기본적으로 30일 동안 보관된다. 따라서 대량 작업을 제출하는 이용자는 비용뿐 아니라 데이터 보관 정책도 함께 확인해야 한다.

배치 API는 여러 인공지능 모델을 단일 인터페이스로 이용하면서 대량 작업의 비용과 처리 시간을 조정하려는 기능이다. 오픈라우터의 토큰 사용량과 평균 가격 변화가 앞서 주목받은 가운데, 이번 기능은 사용량이 큰 비동기 작업의 단가를 낮추는 데 초점을 맞췄다.

다만 ‘대부분 모델’에 적용되는 할인율과 실제 결제 금액은 모델별 단가와 요청 유형에 따라 달라진다. 이용자는 배치 제출 전 모델별 가격과 데이터 처리 조건을 확인해야 한다.