동물을 해치지 않기 위해 LLM 에이전트가 비용을 지불하는지 측정하는 HarvestBench 제안

• 동물 회피에 실제 비용을 매겨 측정하는 농장 시뮬레이션 벤치마크 HarvestBench가 제안됐다.
• 목표에 위해 회피가 명시되지 않은 상태에서 에이전트의 행동을 평가하는 방식이다.
• 구체적 모델별 결과는 발췌만으로 확인되지 않는다.

HarvestBench는 두 대의 트랙터를 운전하는 LLM 서브에이전트가 협력적으로 옥수수를 수확하는 강화학습 그리드월드 환경으로, 밭에 동물이 있고 목표에는 동물 회피가 명시되지 않는다는 점이 특징이다. 트랙터 경로에 동물이 나타나면 자율주행이 정지하고 모델에게 판단을 요청하는 식으로 설계돼, 에이전트가 메모리 없이 매 순간 독립적으로 결정을 내리게 한다.

AI 안전성 연구에서는 목표 달성 과정에서 발생하는 '부수효과(side effect)'를 얼마나 회피하는지를 측정하는 벤치마크들이 이미 존재했지만, 이 논문은 그 부수효과에 실질적 비용(생산성 손실 등)을 부여하고 대상이 생명체임을 명시한 점에서 차별화된다.

AI 윤리·리스크 관리 담당자에게는 에이전트가 명시적으로 지시되지 않은 위해 회피를 비용을 감수하면서도 수행하는지를 정량적으로 평가하는 방법론으로 참고할 수 있다. 목표에 위해 회피가 명시되지 않은 상태에서의 행동을 측정한다는 설계는 실제 산업 자동화 시스템에서 안전 규정이 명문화되지 않은 상황의 위험을 가늠하는 데 시사점을 준다.

실제로 어떤 모델들이 어느 정도의 비용을 감수했는지, 벤치마크 결과의 구체적 수치는 발췌에 드러나지 않아 원문 확인이 필요하다.

본문은 수집한 기사의 제목과 발췌를 바탕으로 AI가 정리한 해설입니다. 수치·날짜·조문 등 세부 사실은 원문에서 확인하세요.