본 논문은 대규모 언어 모델(LLM)의 추론 비용을 줄이기 위한 연구로, 세 가지 오픈소스 Transformer 기반 LLM을 사용하여 질문 답변, 감정 분석, 텍스트 생성 세 가지 작업 유형에 대해 실험을 진행했습니다. 프롬프트와 응답의 길이, 의미, 소요 시간, 에너지 소비량을 분석한 결과, 동일한 작업이라도 모델의 응답 특성과 에너지 소비량이 다름을 확인했습니다. 프롬프트 길이보다 작업의 의미론적 의미가 에너지 소비에 더 큰 영향을 미치며, 작업 유형에 따라 에너지 소비량이 높거나 낮은 특정 키워드를 확인했습니다. 결론적으로 프롬프트의 의미론적 의미와 특정 작업 관련 키워드가 추론 비용에 큰 영향을 미치므로, 에너지 효율적인 LLM 개발을 위한 연구가 필요함을 시사합니다.
