본 논문은 저자원 언어인 히브리어에 대한 추상적 요약과 같은 생성적 작업에서 대규모 언어 모델(LLM)의 성능이 불명확하다는 점을 지적하며, 특히 히브리어의 높은 형태소 풍부성으로 인한 문장 이해의 모호성과 의미 구성의 복잡성이 추가적인 어려움을 야기한다는 점을 강조한다. 이에 본 논문에서는 현대 히브리어의 추상적 텍스트 요약을 위해 특별히 설계된 새로운 벤치마크인 HeSum을 제시한다. HeSum은 전문가가 작성한 히브리어 뉴스 웹사이트에서 가져온 10,000개의 기사-요약 쌍으로 구성되며, 언어 분석을 통해 HeSum의 높은 추상성과 독특한 형태소적 어려움을 확인하였다. 본 논문은 HeSum이 최첨단 LLM에 고유한 어려움을 제시함을 보여주며, 이를 히브리어의 생성적 언어 기술 및 일반적인 MRL의 생성적 과제에 대한 귀중한 시험대(testbed)로 확립한다.
