RealtimeBench는 시간 제약이 있는 환경의 에이전트 평가 과제 180개를 제시했다.

• RealtimeBench는 환경이 멈추지 않는 조건에서 에이전트를 평가하는 180개 과제를 제시했다.
• 정지 환경의 우수한 성능이 실시간 환경의 우수한 성능을 보장하지는 않는다는 결과가 소개됐다.
• 에이전트 검증에는 정확도와 함께 관측·추론·도구 호출·실행의 총지연을 포함할 필요가 있다.

논문은 LLM 에이전트가 복잡한 상호작용 과제를 풀 수 있어도 추론과 도구 호출에 시간이 걸린다는 문제를 제기한다. 이에 게임이 추론 중에도 계속 진행되는 조건에서 에이전트를 평가하는 RealtimeBench를 소개했으며, 과제는 6개 게임 유형에 걸쳐 180개로 구성됐다고 밝혔다.

일반적인 벤치마크는 모델이 답을 생성하는 동안 환경이 사실상 멈춰 있거나, 응답시간이 성과에 충분히 반영되지 않는 경우가 있다. 그러나 실제 운영 환경에서는 재고, 화면 상태, 사용자 입력, 외부 시스템 정보 등이 계속 변할 수 있으므로, 정답에 가까운 판단도 늦게 실행되면 유효하지 않을 수 있다.

초록의 비교 결과에서는 게임을 멈춘 조건에서 GPT-6.1-sol이 더 빠른 Jev보다 우수했지만, 게임이 계속 진행되는 조건에서는 뒤처졌다고 한다. 이는 자동화 도구나 에이전트를 검토할 때 정적 정확도뿐 아니라 관측부터 행동 실행까지 걸리는 시간, 도구 호출의 지연, 지연 상황에서의 실패 양상을 측정할 필요가 있음을 시사한다.

논문은 TORSI라는 방법도 제안한다고 언급하지만, 발췌가 중간에서 끝나 세부 구조와 전체 실험 결과는 확인되지 않는다. 게임 기반 평가가 실제 업무 환경으로 얼마나 일반화되는지도 원문에서 과제 유형, 측정 지표, 재현 조건을 확인할 필요가 있다.

본문은 수집한 기사의 제목과 발췌를 바탕으로 AI가 정리한 해설입니다. 수치·날짜·조문 등 세부 사실은 원문에서 확인하세요.