본 논문은 다양한 분야에서 사용되는 대규모 언어 모델(LLM)의 추론 비용이 높다는 문제점을 다룹니다. 세 가지 오픈소스 변환기 기반 LLM과 세 가지 작업 유형(질문 답변, 감정 분석, 텍스트 생성)을 사용하여 실험을 진행했습니다. 추론 과정에서 프롬프트와 응답의 길이, 의미, 소요 시간, 에너지 소비량을 분석하여, 동일한 작업에 대해서도 모델의 응답 특성과 에너지 소비 패턴이 다르다는 것을 발견했습니다. 프롬프트 길이보다 작업의 의미가 에너지 소비에 더 큰 영향을 미치며, 작업과 관련된 특정 키워드가 에너지 사용량에 영향을 준다는 것을 확인했습니다. 따라서 프롬프트 디자인이 추론 효율을 최적화하는 데 중요하며, 프롬프트의 의미와 키워드가 추론 비용에 큰 영향을 미친다는 결론을 제시합니다. 이 연구는 에너지 효율적인 LLM 개발을 위한 심층적인 탐구를 위한 기반을 마련합니다.
