Phare는 대규모 언어 모델(LLM)의 안전성을 평가하기 위한 다국어 진단 프레임워크입니다. 환각 및 신뢰성, 사회적 편향, 유해 콘텐츠 생성 등 세 가지 중요한 측면에서 LLM의 동작을 조사하고 평가합니다. 17개의 최첨단 LLM을 평가하여 아첨, 프롬프트 민감성, 고정관념 재생산 등 모든 안전 측면에서 체계적인 취약성 패턴을 밝혀냈습니다. 모델 순위를 매기는 대신 이러한 특정 실패 모드를 강조함으로써, Phare는 연구자와 실무자에게 더욱 강력하고, 정렬되고, 신뢰할 수 있는 언어 시스템을 구축하기 위한 실행 가능한 통찰력을 제공합니다.
