Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Position is Power: System Prompts as a Mechanism of Bias in Large Language Models (LLMs)

Created by
  • Haebom

저자

Anna Neumann, Elisabeth Kirsten, Muhammad Bilal Zafar, Jatinder Singh

개요

본 논문은 대규모 언어 모델(LLM)에서 시스템 프롬프트의 위치가 모델의 행동과 출력에 미치는 영향을 분석합니다. 시스템 프롬프트는 사용자 입력보다 우선하는 사전 정의된 지시문으로, 모델의 일관성을 유지하는 데 사용됩니다. 하지만 여러 프롬프트가 중첩될 경우, 그 내용이 사용자에게는 보이지 않고, 예측하지 못한 부작용을 야기할 수 있습니다. 본 연구는 6개의 상용 LLM과 50개의 인구 통계 집단을 대상으로 시스템 프롬프트와 사용자 프롬프트에 인구 통계 정보를 배치했을 때 모델의 처리 방식을 비교 분석하여, 시스템 프롬프트의 위치에 따른 편향성을 밝힙니다. 이러한 편향은 사용자에게는 감지하거나 수정할 수 없는 표상적, 배분적, 그리고 잠재적 다른 형태의 편향 및 부정적 결과를 초래할 수 있습니다.

시사점, 한계점

시사점:
시스템 프롬프트의 위치가 LLM의 출력에 상당한 영향을 미치며, 예측 불가능한 편향을 야기할 수 있음을 밝힘.
상용 LLM에서의 시스템 프롬프트의 불투명성이 윤리적 문제 및 부정적 결과를 초래할 수 있음을 강조.
AI 감사 프로세스에 시스템 프롬프트 분석을 포함해야 함을 제안.
한계점:
분석에 사용된 LLM의 종류와 인구 통계 집단의 수가 제한적일 수 있음.
시스템 프롬프트의 복잡성과 다양성을 완전히 포괄하지 못했을 가능성.
본 연구 결과가 모든 LLM과 모든 상황에 일반화될 수 있는지에 대한 추가 연구가 필요.
👍