Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

An evaluation of LLMs and Google Translate for translation of selected Indian languages via sentiment and semantic analyses

Created by
  • Haebom

저자

Rohitash Chandra, Aryan Chaudhari, Yeshwanth Rayavarapu

개요

본 논문은 Gemini, GPT, Google Translate 등 대규모 언어 모델(LLM)을 이용한 저자원 언어 번역의 질적 평가에 대한 연구 부족을 해결하고자 한다. 산스크리트어, 텔루구어, 힌디어 등 인도어를 대상으로, 바가바드 기타, 타마스, 마하 프라스타남 등 전문가에 의해 잘 번역된 주요 문헌을 선정하여 LLM을 이용해 영어로 번역한 후, 전문가 번역과 비교 분석하였다. 의미 및 감정 분석을 통해 LLM의 번역 정확도 향상을 확인하였으나, 특히 바가바드 기타와 같은 비유적, 철학적 맥락에서는 감정과 의미의 무결성 유지에 어려움이 있음을 밝혔다. 감정 분석 결과, GPT 모델은 전문가 번역보다 감정 극성을 더 잘 유지하는 것으로 나타났으며, Google Translate보다 전반적으로 감정과 의미를 더 잘 유지하는 것으로 나타났다. 이 연구는 대규모 언어 모델을 위한 정확하고 문화적으로 민감한 번역 시스템 개발에 기여할 수 있다.

시사점, 한계점

시사점:
LLM의 저자원 언어 번역 정확도 향상을 확인.
GPT 모델이 감정 및 의미 유지 측면에서 Google Translate보다 우수함을 증명.
특히 GPT 모델이 전문가 번역보다 감정 극성을 더 잘 유지하는 경향을 발견.
문화적 맥락을 고려한 정확한 번역 시스템 개발에 대한 시사점 제시.
한계점:
분석 대상 언어 및 문헌이 제한적임.
LLM의 성능 평가에 의미 및 감정 분석만 사용하여 다른 평가 지표 고려 부족.
비유적, 철학적 맥락에서의 의미 및 감정 유지에 대한 어려움을 명확히 해결하지 못함.
👍