LLM 판사 편향 감사에서 이중차분법이 척도 상한으로 인해 허위 효과를 만들 수 있음을 실증

• 이중차분법 기반 LLM 판사 편향 감사가 척도 상한 때문에 허위 효과를 만들 수 있음을 실증했다.
• 각 차이 항이 유한한 평점 척도에 의해 절단되면서 실제 편향과 감쇠 효과가 혼동될 수 있다.
• 감사 결과 해석 시 척도 효과 가능성을 별도로 점검할 필요가 있다.

논문은 LLM 판사의 편향을 검증할 때 두 응답을 항목 내에서 비교한 뒤, 특정 속성을 조작해 다시 차이를 비교하는 '이중차분' 설계가 표준으로 쓰인다고 설명한다. 그런데 각 차이 항이 유한한 평점 척도에 의해 각각 다르게 절단(censored)되기 때문에, 관측된 통계량이 실제 선호 차이와 척도로 인한 감쇠 차이를 혼동한다고 주장한다.

LLM을 심사위원으로 활용해 다른 모델의 출력이나 채용·평가 결과를 판정하는 관행이 늘면서, 이 판정 과정에 내재된 편향을 검증하는 감사 방법론도 함께 발전해왔다. 이중차분법은 사회과학에서 인과 효과를 추정할 때 널리 쓰이는 기법을 편향 감사에 응용한 것인데, 이 논문은 평점 척도가 유한하다는 점이 이 기법의 전제를 깨뜨릴 수 있음을 지적한다.

LLM 판사를 활용해 공정성·편향을 감사하는 실무자는 이중차분 통계량이 유의하게 나왔다고 해서 곧바로 실제 편향으로 해석하기보다, 척도 상한이나 바닥효과로 인한 인위적 신호일 가능성을 함께 점검할 필요가 있다. 특히 두 응답 모두에서 공통된 '심각도 이동'이 있을 경우 상호작용 효과처럼 보이는 허위 신호가 만들어질 수 있다는 지적은 감사 설계를 재검토하게 하는 대목이다.

어떤 대안적 감사 설계나 척도 보정 방법을 제시하는지는 발췌에 나오지 않아 원문 확인이 필요하다.

본문은 수집한 기사의 제목과 발췌를 바탕으로 AI가 정리한 해설입니다. 수치·날짜·조문 등 세부 사실은 원문에서 확인하세요.