Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

MEC$^3$O: Multi-Expert Consensus for Code Time Complexity Prediction

Created by
  • Haebom

저자

Joonghyuk Hahn, Soohan Lim, Yo-Sub Han

MEC$^3$O: Multi-Expert Consensus for Code Complexity Prediction

개요

본 논문은 소스 코드의 시간 복잡도 예측을 위한 다중 전문가 합의 시스템인 MEC$^3$O를 제안한다. CodeComplex 데이터셋에서 사전 학습된 대형 언어 모델(LLM)이 특정 복잡도 클래스에서 어려움을 겪는다는 점에 착안하여, 각 LLM을 성능에 따라 복잡도 클래스에 할당하고, 클래스별 특화된 지침을 제공하여 전문가로 만든다. 이러한 전문가들이 구조화된 토론을 거치고, 가중치 합의 메커니즘을 통해 예측 결과를 통합한다. MEC$^3$O는 Degeneration-of-Thought 문제를 효과적으로 해결하고, 잘못된 다수 의견으로 수렴되는 것을 방지한다. 실험 결과, MEC$^3$O는 오픈 소스 기반 모델보다 최소 10% 높은 정확도와 macro-F1 점수를 달성했으며, GPT-4o-mini보다 macro-F1 점수가 높고, GPT-4o 및 GPT-4o-mini와 동등한 F1 점수를 보였다.

시사점, 한계점

시사점:
다중 전문가 토론 및 가중치 합의 전략의 효과 입증.
Degeneration-of-Thought 문제 해결 및 잘못된 예측 방지.
오픈 소스 모델 및 GPT-4o-mini 대비 우수한 성능.
한계점:
특정 모델 및 데이터셋(CodeComplex)에 대한 성능 평가.
GPT-4o와 유사한 수준의 성능 달성.
GitHub 링크를 통해 코드 및 데이터셋 접근 가능.
👍