본 논문은 대규모 언어 모델(LLM)을 사용한 반박 생성 개선을 위해 동적 외부 지식 통합의 역할을 조사합니다. LLM은 논쟁적 과제에서 유망한 결과를 보였지만, 길고 사실이 아닐 수 있는 응답을 생성하는 경향이 더욱 제어되고 증거 기반적인 접근 방식의 필요성을 강조합니다. 논문에서는 논쟁의 복잡성과 평가 가능성의 균형을 맞추기 위해 특별히 설계된 새로운 수동으로 큐레이션된 논증 및 반박 쌍 데이터셋을 소개합니다. 또한 기존의 참조 기반 지표와 비교하여 인간의 판단과 더 강한 상관관계를 보이는 새로운 LLM-as-a-Judge 평가 방법론을 제안합니다. 실험 결과는 웹에서 동적 외부 지식을 통합하면 생성된 반박의 품질, 특히 관련성, 설득력 및 사실성 측면에서 크게 향상됨을 보여줍니다. 이러한 결과는 LLM과 실시간 외부 지식 검색을 결합하는 것이 더 효과적이고 신뢰할 수 있는 반박 시스템을 개발하는 유망한 방향임을 시사합니다.
