skLEP: A Slovak General Language Understanding Benchmark
Created by
Haebom
저자
Marek \v{S}uppa, Andrej Ridzik, Daniel Hladek, Toma\v{s} Jav\r{u}rek, Viktoria Ondrejova, Kristina Sasikova, Martin Tamajka, Marian \v{S}imko
개요
본 논문은 슬로바키아어 자연어 이해(NLU) 모델 평가를 위한 첫 번째 종합적인 벤치마크인 skLEP를 소개한다. skLEP는 토큰 수준, 문장 쌍 수준, 문서 수준의 과제를 포함하는 9가지 다양한 과제로 구성되어 모델의 기능을 철저히 평가할 수 있도록 한다. 새로운 슬로바키아어 데이터셋을 직접 제작하고 기존 영어 NLU 리소스를 번역하여 벤치마크를 만들었다. 또한, skLEP 과제를 사용하여 다양한 슬로바키아어 특화, 다국어 및 영어 사전 훈련 언어 모델에 대한 첫 번째 체계적이고 광범위한 평가를 제시한다. 마지막으로, 완벽한 벤치마크 데이터, 모델의 미세 조정 및 평가를 용이하게 하는 오픈소스 툴킷, 그리고 공개 리더보드(https://github.com/slovak-nlp/sklep)를 공개하여 재현성을 높이고 슬로바키아어 NLU 연구를 촉진하고자 한다.
시사점, 한계점
•
시사점:
◦
슬로바키아어 NLU 모델 평가를 위한 최초의 종합적인 벤치마크 skLEP 제공.
◦
다양한 수준(토큰, 문장 쌍, 문서)의 9가지 과제를 통해 포괄적인 모델 평가 가능.
◦
다양한 사전 훈련 모델에 대한 체계적인 평가 결과 제시.
◦
오픈소스 툴킷 및 공개 리더보드 제공으로 재현성 확보 및 연구 활성화.
•
한계점:
◦
현재로서는 skLEP의 한계점이 명시적으로 언급되어 있지 않음. 추후 연구를 통해 데이터셋의 크기, 품질, 과제의 다양성 등에 대한 추가적인 분석 및 개선이 필요할 수 있음.
