법률 AI, 동일 사실에도 답변이 달라지는 '일관성 문제' 지적

• 동일 사실관계에도 법률 AI 답변이 달라지는 일관성 문제가 지적됐다.
• 비개발자도 법률 AI 도구를 쉽게 만들 수 있게 된 환경이 배경으로 언급됐다.
• 도입 시 반복 검증과 품질관리 절차 마련이 시사점으로 제시된다.

필자는 비개발자도 손쉽게 작동하는 법률 AI 도구를 만들 수 있는 시대가 됐다고 언급하며, 동일한 사실관계에 대해 법률 AI가 다른 답변을 내놓는 일관성 문제를 제기했다. 발췌만으로는 구체적인 사례나 실험 방식까지는 확인되지 않는다.

생성형 AI는 확률적 언어모델 특성상 동일 입력에도 매번 다른 표현이나 결론을 낼 수 있다는 점이 일반적으로 알려진 한계다. 법률 자문·검토처럼 정확성과 재현성이 중요한 영역에서는 이런 비일관성이 신뢰성 문제로 직결되며, 그동안에도 환각(hallucination) 문제와 함께 법률 AI 도입의 주요 우려 사항으로 다뤄져 왔다.

실무자 입장에서는 법률 AI 도구를 도입할 때 동일 질의에 대한 답변 재현성을 검증하는 절차, 즉 여러 차례 반복 질의 후 결과를 비교하거나 출처를 대조하는 검수 프로세스를 마련할 필요가 있다는 시사점을 준다. 특히 노코드 방식으로 AI 도구를 직접 만드는 사례가 늘어날수록, 결과물에 대한 품질관리 책임 소재를 명확히 해둘 필요가 있다.

필자가 제시하는 구체적 해법이나 사례연구, Neota Logic의 자체 대응 방안 등은 발췌에 드러나지 않으므로 원문에서 확인할 필요가 있다.

본문은 수집한 기사의 제목과 발췌를 바탕으로 AI가 정리한 해설입니다. 수치·날짜·조문 등 세부 사실은 원문에서 확인하세요.