Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

The Hidden Costs of Translation Accuracy: Distillation, Quantization, and Environmental Impact

Created by
  • Haebom

저자

Dhaathri Vijay, Anandaswarup Vadapalli

개요

본 연구는 기계 번역을 사례로 대규모 언어 모델(LLM)의 번역 품질과 효율성 간의 trade-off를 조사합니다. Flores+ 벤치마크 및 프랑스어, 힌디어, 칸나다어로의 대화형 번역에 대한 인간 평가를 통해 전체 모델, 증류 모델, 양자화 모델의 성능을 비교했습니다. 3.3B FP32 모델은 가장 높은 BLEU 점수를 기록했지만 가장 큰 환경 발자국을 발생시켰습니다. 증류된 600M FP32 모델은 추론 시간을 71-78%, 탄소 배출량을 63-65% 감소시키면서 BLEU 점수 감소는 최소화했습니다. 공격적인 양자화(INT4) 또한 높은 수준의 정확성과 유창성을 유지했습니다.

시사점, 한계점

시사점:
모델 압축 전략은 경쟁력 있는 번역 품질을 유지하면서 계산 요구 사항과 환경 영향을 크게 줄일 수 있습니다.
효율성과 지속 가능성을 정확도와 함께 NLP 발전의 주요 척도로 평가하는 프레임워크가 필요합니다.
한계점:
저자원 환경에서는 trade-off가 더 두드러집니다.
👍