Sign In

Pragmatic Inference Chain (PIC) Improving LLMs' Reasoning of Authentic Implicit Toxic Language

Created by
  • Haebom
Category
Empty

저자

Xi Chen, Shuo Wang

개요

본 논문은 대규모 언어 모델(LLM)의 윤리적 문제점, 특히 암묵적인 독성 언어 탐지 능력에 초점을 맞추고 있습니다. 기존 연구들이 단순한 연관성에 기반한 독성 언어 탐지에 집중한 것과 달리, 본 연구는 온라인 검열을 우회하는 실제 암묵적 독성 언관들을 수집하여 분석합니다. 이를 위해 인간의 추론 능력이 필요한 독성 언어 데이터셋을 구축하고, 인지과학 및 언어학 연구에 기반한 새로운 프롬프팅 기법인 Pragmatic Inference Chain (PIC)을 제안합니다. PIC 프롬프팅은 GPT-4o, Llama-3.1-70B-Instruct, DeepSeek-v2.5 등의 LLM에서 암묵적 독성 언어 식별 성공률을 기존의 직접 프롬프팅 및 Chain-of-Thought 방식보다 향상시키는 것으로 나타났으며, 더 명확하고 일관된 추론 과정을 생성하는 데에도 기여합니다. 이러한 결과는 PIC 프롬프팅이 유머나 은유 이해와 같은 다른 추론 집약적 과제에도 일반화될 수 있음을 시사합니다.

시사점, 한계점

시사점:
암묵적이고 정교한 독성 언어 탐지에 대한 새로운 접근법 제시
PIC 프롬프팅 기법을 통해 LLM의 추론 능력 향상 가능성 확인
PIC 프롬프팅의 일반화 가능성 제시 (유머, 은유 이해 등)
실제 온라인 환경에서의 독성 언어 데이터셋 구축 및 활용
한계점:
구축된 데이터셋의 규모 및 일반화 가능성에 대한 추가 연구 필요
PIC 프롬프팅의 효과가 특정 LLM에 국한될 가능성 존재
다양한 유형의 암묵적 독성 언어에 대한 일반화 성능 검증 필요
인간의 추론 과정과 PIC 프롬프팅의 정확한 관계에 대한 추가 분석 필요
👍