AI 과학자 워크플로우의 추론 과정을 감사 가능하게 기록하는 벤치마크 제안

• AI 과학자 에이전트의 결과물이 아닌 추론 과정을 기록한 558개 궤적 데이터셋을 공개했다.
• 기존 벤치마크는 최종 산출물만 평가해 방법론 감사나 실패 원인 진단이 불가능했다는 문제를 지적한다.
• AI 보조 연구의 재현성·신뢰성 검증 실무에 참고자료가 될 수 있다.

이 논문은 자율 AI 과학자(agentic AI scientist) 시스템을 평가하는 기존 벤치마크가 최종 산출물만 채점하고 그 산출물이 만들어진 추론 경로는 버린다는 점을 문제로 제기한다. 이를 보완하기 위해 저자들은 558개의 완전한 AI 과학 에이전트 실행 궤적을 모아, 각 단계마다 9개 필드로 구조화된 기록을 남기는 공개 데이터셋 OpenDiscoveryTrace를 제시한다.

AI 에이전트가 연구 가설 생성, 코드 작성, 실험 설계 등을 자동으로 수행하는 흐름이 늘면서, 결과가 맞았다는 것만으로 그 과정의 신뢰성을 담보할 수 없다는 우려가 커져왔다. 소프트웨어 공학이나 임상시험에서 결과뿐 아니라 절차·근거를 남기는 감사 추적(audit trail) 요구가 이미 자리잡은 것과 유사한 문제의식이다.

연구·개발 조직이 AI 보조 연구 도구를 도입할 때, 결과물 검증만으로는 재현성이나 방법론적 타당성을 확인하기 어렵다는 점을 시사한다. 향후 AI 연구 산출물에 대한 내부 검토나 규제 대응 과정에서 추론 과정 기록을 요구하거나 참고자료로 활용하는 관행이 늘어날 수 있다.

9개 필드가 구체적으로 무엇을 담는지, 어떤 도메인의 과학 문제에 국한된 것인지는 발췌만으로는 확인되지 않아 원문 확인이 필요하다.

본문은 수집한 기사의 제목과 발췌를 바탕으로 AI가 정리한 해설입니다. 수치·날짜·조문 등 세부 사실은 원문에서 확인하세요.