본 논문은 대규모 언어 모델(LLM)을 이용한 반박 생성 개선을 위해 동적 외부 지식 통합의 역할을 조사합니다. LLM은 논쟁적인 과제에서 유망한 결과를 보였지만, 길고 사실이 아닐 가능성이 있는 응답을 생성하는 경향이 있으므로 더욱 제어되고 증거에 기반한 접근 방식이 필요합니다. 논문에서는 논쟁의 복잡성과 평가 가능성의 균형을 맞추도록 특별히 설계된 새로운 수동으로 큐레이션된 논증 및 반박 쌍 데이터셋을 소개합니다. 또한 기존의 참조 기반 지표와 비교하여 인간 판단과 더 강한 상관관계를 보이는 새로운 LLM-as-a-Judge 평가 방법론을 제안합니다. 실험 결과에 따르면 웹에서 동적 외부 지식을 통합하면 생성된 반박의 품질, 특히 관련성, 설득력 및 사실성이 크게 향상됩니다. 이러한 결과는 LLM과 실시간 외부 지식 검색을 결합하면 더 효과적이고 신뢰할 수 있는 반박 시스템을 개발하는 유망한 방향을 제시한다는 것을 시사합니다.
