본 논문은 대규모 언어 모델(LLM)의 편향성 문제를 해결하기 위해 ASCenD BDS라는 새로운 프레임워크를 제시합니다. 기존의 편향 감지 프레임워크들이 특정 데이터셋에 의존하여 한정된 시나리오만 평가하는 한계를 극복하고자, 적응성, 확률성, 맥락 인식 기능을 갖춘 ASCenD BDS를 개발했습니다. 인도 사회를 중심으로 인도 인구조사 2011 데이터를 활용하여 맥락 인식 기능을 구현하고, 800개 이상의 STEM, 10개의 카테고리, 31개의 하위 카테고리를 포함하는 프레임워크를 상세히 설명합니다. Saint Fox Consultancy Private Ltd.의 컨설턴트 팀이 개발에 참여하였으며, SFCLabs에서 제품 개발의 일환으로 테스트되었습니다.
시사점, 한계점
•
시사점:
◦
기존 LLM 편향 감지 방법의 한계를 극복하는 새로운 프레임워크 제시.
◦
적응성, 확률성, 맥락 인식 기능을 통해 다양한 사회문화적 맥락에서의 편향 감지를 가능하게 함.
◦
인도 사회를 대상으로 한 실증적인 맥락 인식 기능 구현.
◦
다양한 카테고리(성별, 계급, 연령, 장애, 사회경제적 지위, 언어적 변이 등)에 대한 편향 감지 가능성 제시.
•
한계점:
◦
인도 사회를 중심으로 개발되었으므로, 다른 문화권 적용 시 추가적인 조정 및 검증 필요.
◦
SFCLabs에서의 제품 개발 테스트 결과에 대한 구체적인 내용 부족.
◦
프레임워크의 성능 및 효율성에 대한 정량적 평가 부족.
◦
사용된 데이터셋(인도 인구조사 2011)의 한계가 프레임워크의 성능에 미치는 영향에 대한 논의 부족.
