COMI-LINGUA: Expert Annotated Large-Scale Dataset for Multitask NLP in Hindi-English Code-Mixing
Created by
Haebom
Category
Empty
저자
Rajvee Sheth, Himanshu Beniwal, Mayank Singh
개요
본 논문은 급증하는 디지털 커뮤니케이션으로 인해 인도-영어 혼용 언어 사용이 널리 퍼짐에 따라, 실제 언어의 미묘한 차이를 포착하지 못하는 로마자 표기 중심의 제한된 범위의 기존 데이터셋 또는 인공 데이터셋의 문제점을 해결하기 위해, 세 명의 전문가가 평가한 100,970개의 인스턴스로 구성된, 데바나가리 문자와 로마자 모두를 포함하는 최대 규모의 수동 주석이 달린 코드 혼합 텍스트 데이터셋 COMI-LINGUA를 소개합니다. 이 데이터셋은 언어 식별, 매트릭스 언어 식별, 품사 태깅, 개체명 인식, 번역 등 5가지 기본적인 NLP 작업을 지원하며, LLM을 이용한 평가를 통해 기존 다국어 모델링 전략의 한계를 밝히고 개선된 코드 혼합 텍스트 처리 기능의 필요성을 강조합니다. COMI-LINGUA는 https://huggingface.co/datasets/LingoIITGN/COMI-LINGUA 에서 공개적으로 이용 가능합니다.
시사점: 대규모 수동 주석이 달린 코드 혼합 텍스트 데이터셋 COMI-LINGUA를 제공하여 다양한 NLP 작업에 활용 가능하도록 함. 기존 다국어 모델의 한계를 밝히고, 코드 혼합 언어 처리 기술 발전에 기여. 데바나가리 문자와 로마자를 모두 포함하여 다양한 사용자에게 유용.
•
한계점: 데이터셋이 인도-영어 혼합 언어에만 집중되어 다른 언어 쌍에는 적용하기 어려움. 수동 주석 작업의 한계로 인해 데이터셋의 규모가 더욱 확장될 필요가 있음. 전문가 평가자의 주관적인 판단이 결과에 영향을 미칠 수 있음.
