인도네시아어는 2억 명 이상이 사용되지만, 대규모 언어 모델(LLM)을 위한 선호도 기반 연구에서 과소 대표되고 있다. 기존의 다국어 데이터셋은 영어 번역에서 파생되어 문화적, 언어적 진정성이 부족하다. 이러한 격차를 해결하기 위해, LLM이 생성한 텍스트의 자연스러움과 품질을 평가하도록 설계된 최초의 완전 수작업 및 다중 도메인 인도네시아어 선호도 데이터셋인 IndoPref를 소개한다. 이 데이터셋은 522개의 프롬프트를 포함하며, 5개의 instruction-tuned LLM 간의 비교로부터 4,099개의 인간 주석된 쌍별 선호도를 제공한다. 모든 주석은 인도네시아어로 작성되었으며, Krippendorff's alpha로 측정된 높은 주석자 간 일치도를 보인다. 이 벤치마크는 10개의 다양한 범위를 포함하여 실무자들이 LLM의 세부적인 강점과 약점을 식별할 수 있도록 한다.
