Science Across Languages: Assessing LLM Multilingual Translation of Scientific Papers
Created by
Haebom
저자
Hannah Calzi Kleidermacher, James Zou
개요
본 논문은 대부분의 학술지가 영어로만 출판되어 비영어권 연구자들에게 장벽이 되는 현실에 주목하여, 대규모 언어 모델(LLM)을 활용한 학술 논문 자동 번역 시스템을 제시한다. JATS XML 형식을 유지하면서 다양한 과학 분야의 논문을 28개 언어로 번역하고, 독창적인 질의응답(QA) 기반 평가 방법을 통해 번역 정확도(평균 95.9%)를 측정했다. 15명의 연구자를 대상으로 한 사용자 연구에서는 번역의 정확성을 확인했으며, 일부 기술 용어의 과도한 번역에 대한 선호도 차이도 발견했다. 또한, In-context learning 기법을 활용하여 과도한 번역 문제를 완화하는 등 LLM 기반 번역의 적응성과 유용성을 보여준다. 소스 코드와 번역된 논문은 https://hankleid.github.io/ProjectMundo 에서 확인 가능하다.
시사점, 한계점
•
시사점:
◦
LLM을 활용한 학술 논문 자동 번역 시스템의 실현 가능성을 제시.
◦
JATS XML 형식 유지를 통한 실제 학술지 적용 가능성 증대.
◦
질의응답 기반 평가 방법을 통한 번역 정확도 객관적 평가.
◦
다양한 언어(28개 언어) 지원을 통한 광범위한 접근성 확보.
◦
In-context learning을 통한 번역 품질 향상 및 사용자 맞춤 설정 가능성 제시.
•
한계점:
◦
일부 기술 용어에 대한 과도한 번역 문제 발생 및 사용자 선호도에 따른 추가적인 조정 필요성.
