Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

SwiLTra-Bench: The Swiss Legal Translation Benchmark

Created by
  • Haebom

저자

Joel Niklaus, Jakob Merane, Luka Nenadic, Sina Ahmadi, Yingqiang Gao, Cyrill A. H. Chevalley, Claude Humbel, Christophe Gosken, Lorenzo Tanzi, Thomas Luthi, Stefan Palombo, Spencer Poff, Boling Yang, Nan Wu, Matthew Guillod, Robin Mamie, Daniel Brunner, Julio Pereyra, Niko Grupen

개요

스위스의 4개 공용어와 다국어 법률 문서 요구사항으로 인해 법률 번역의 중요성이 매우 높습니다. 기존에는 법률 전문가이자 숙련된 번역가가 필요하여 병목 현상과 사법 접근성 저하 문제가 발생했습니다. 본 논문에서는 이러한 문제를 해결하기 위해, 스위스 법률, 판례 요약, 보도 자료 등 18만 개 이상의 스위스 4개 언어 및 영어 번역쌍으로 구성된 다국어 벤치마크 SwiLTra-Bench를 제시합니다. 이를 통해 LLM 기반 번역 시스템을 평가하고, 최첨단 모델이 모든 문서 유형에서 우수한 번역 성능을 보이는 반면, 특정 번역 시스템은 법률에서는 뛰어나지만 판례 요약에서는 성능이 저조함을 밝혔습니다. 또한, 오픈 SLM의 미세 조정이 번역 품질을 크게 향상시키지만, Claude-3.5-Sonnet과 같은 최고의 제로샷 프롬프트 기반 최첨단 모델에는 미치지 못함을 보여주고, 인간 전문가 평가와 가장 잘 일치하는 특수 LLM 평가 시스템 SwiLTra-Judge를 제시합니다.

시사점, 한계점

•
시사점:
◦
SwiLTra-Bench는 스위스 법률 번역의 벤치마크로서 LLM 기반 번역 시스템 평가에 유용한 자료를 제공합니다.
◦
최첨단 LLM이 스위스 법률 번역에서 우수한 성능을 보임을 확인했습니다.
◦
특정 문서 유형에 따라 특화된 번역 시스템이 필요함을 시사합니다.
◦
SwiLTra-Judge는 인간 전문가 평가와 잘 일치하는 LLM 평가 시스템으로서 LLM 성능 평가의 신뢰성을 높입니다.
◦
오픈 SLM의 미세 조정을 통한 성능 향상 가능성을 보여줍니다.
•
한계점:
◦
SwiLTra-Bench는 스위스 법률에 특화되어 다른 국가 또는 분야에는 적용하기 어려울 수 있습니다.
◦
최첨단 모델이라도 모든 유형의 법률 문서에서 완벽한 번역 성능을 보이지는 않습니다.
◦
오픈 SLM의 미세 조정은 여전히 최고의 제로샷 프롬프트 기반 모델보다 성능이 떨어집니다.
👍
Made with Slashpage