본 논문은 대규모 언어 모델(LLM)의 개인 식별 정보(PII) 처리의 신뢰성을 확보하기 위해 13개의 소외 지역에서 336개의 지역별 PII 유형에 대한 고품질 PII 주석을 위한 확장 가능한 다국어 데이터 큐레이션 프레임워크를 제시합니다. 이 프레임워크는 언어 전문 지식과 엄격한 품질 보증을 결합한 단계적, 인간 중심의 주석 방법론을 사용하며, 주석 일관성을 체계적으로 파악하고 해결하여 감독 학습 기반 LLM 미세 조정에 적합한 고품질 데이터 세트를 생성합니다.
시사점, 한계점
•
시사점:
◦
13개 소외 지역의 336개 지역별 PII 유형에 대한 고품질 데이터 세트를 구축하여 LLM의 PII 처리 능력을 향상시킴.
◦
언어 전문가와 엄격한 품질 보증을 결합한 인간 중심 주석 방법론을 통해 주석 품질을 개선.
◦
주석 일관성 분석을 통해 데이터 세트의 신뢰성을 높임.
◦
다국어 PII 라벨링 과정에서 흔히 발생하는 문제점을 파악하고, 분석 기반 파이프라인을 통해 주석 품질 및 모델 신뢰성을 향상시킴.
•
한계점:
◦
구체적인 데이터 세트 크기 및 성능 지표(예: 재현율, 오탐율 개선 정도)에 대한 자세한 정보가 부족함.
◦
제안된 프레임워크가 다른 지역이나 PII 유형에 얼마나 일반화될 수 있는지에 대한 정보가 없음.
