LLM 6종의 과학 문헌검토 전 과정을 102개 논문으로 평가했다.

• LLM 6종을 대상으로 문헌검토의 탐색·해석·종합·연구제안 전 과정을 평가했다.
• 초기 검색 단계에서도 관련 문헌 누락 가능성이 확인돼 인간 검증의 필요성을 시사한다.
• 특정 분야의 벤치마크 결과를 다른 전문업무에 적용하려면 원문과 한계를 확인해야 한다.

연구진은 과학 문헌검토를 지원하는 LLM 6종을 대상으로 관련 논문 찾기, 논문 해석, 여러 논문의 종합, 향후 연구 제안이라는 네 단계의 수행 능력을 평가했다. 기준 자료는 스페인 플룸 기상 패턴에 관한 출판된 문헌검토와 102편의 논문 코퍼스다. 발췌에 따르면 초기 검색에서 5개 도구가 합쳐 57편을 찾아냈고, 개별 도구 중 가장 높은 결과는 42편이었다.

LLM 기반 리서치는 검색·요약·비교 작업을 빠르게 수행할 수 있지만, 문헌검토는 누락 없이 관련 자료를 찾고 원문 맥락을 정확히 읽은 뒤 근거 관계를 종합하는 연속 과정이다. 따라서 특정 단계의 성능이 좋더라도 전체 검토 결과의 완전성이나 결론의 타당성이 보장되지는 않는다. 특히 발췌된 수치만으로 각 도구의 정확도, 오인용 여부, 후속 단계의 성능은 판단할 수 없다.

법률·세무·의료·회계 등 전문 문헌을 다루는 실무에서는 LLM을 초안 작성이나 탐색 보조로 활용하더라도, 검색 범위와 제외 기준, 인용 원문, 최신성, 결론의 근거 연결을 사람이 검증하는 절차가 필요하다. 업무 기록 측면에서는 어떤 도구에 어떤 질의를 했는지, 어떤 출처를 최종 근거로 채택·배제했는지를 남기는 방식이 재현성과 검토 가능성을 높일 수 있다.

이 연구의 6개 도구 명칭, 평가 기준, 네 단계별 상세 결과와 통계적 한계는 발췌만으로 확인되지 않는다. 또한 기상학 문헌검토에서의 결과를 다른 전문 분야에 그대로 일반화할 수 있는지도 논문 원문을 통해 확인할 필요가 있다.

본문은 수집한 기사의 제목과 발췌를 바탕으로 AI가 정리한 해설입니다. 수치·날짜·조문 등 세부 사실은 원문에서 확인하세요.