KnowCoder-X는 다국어 정보 추출(IE)을 위한 강력한 코드 LLM으로, 언어 간 불균형 문제를 해결하기 위해 제안되었다. 다국어 스키마를 Python 클래스로 표준화하여 일관된 온톨로지를 구축하고, 다국어 IE를 통합된 코드 생성 작업으로 공식화한다. 25만7천 개의 표본으로 구성된 고품질 이중 언어 IE 병렬 데이터셋 ParallelNER를 구축하여, 번역된 인스턴스 예측 작업에 대한 교차 언어 정렬 지시 조정을 수행하여 모델의 교차 언어 전이성을 향상시켰다. 29개의 미지 언어에 대한 훈련 없이도 ChatGPT보다 30.17%, 기존 최고 성능(SoTA)보다 20.03% 우수한 성능을 보이며, 중국어와 영어의 64개 IE 벤치마크에 대한 종합 평가에서 교차 언어 IE 전이를 크게 향상시켰음을 입증했다. 코드와 데이터셋은 GitHub에서 공개되었다.
시사점, 한계점
•
시사점:
◦
다국어 정보 추출(IE)에서 언어 간 불균형 문제를 해결하는 새로운 방법 제시.
◦
Python 클래스를 이용한 다국어 스키마 표준화를 통한 일관된 온톨로지 구축.
◦
고품질 이중 언어 IE 병렬 데이터셋 ParallelNER 구축.
◦
교차 언어 정렬 지시 조정을 통한 모델의 교차 언어 전이성 향상.
◦
기존 모델들보다 우수한 교차 언어 IE 성능 달성.
•
한계점:
◦
ParallelNER 데이터셋의 규모가 특정 언어에 편향될 가능성 존재.
◦
29개의 미지 언어에 대한 훈련이 없었기에, 모든 언어에 대한 일반화 성능은 추가 연구가 필요.
◦
Python 클래스 기반의 스키마 표준화가 모든 언어 및 도메인에 적용 가능한지에 대한 추가 검증 필요.
