Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Effects of structure on reasoning in instance-level Self-Discover

Created by
  • Haebom

저자

Sachith Gunasekara, Yasiru Ratnayake

개요

본 논문은 복합 시스템과의 통합에서 예측 가능한 LLM 추론에 대한 요구가 구조화된 출력을 대중화했지만, 비구조화된 자연어와 비교한 성능 저하에 대한 우려가 여전히 남아있다는 점을 지적합니다. 비구조화된 Chain of Thought (CoT) 추적 데이터로의 학습은 새로운 강력한 추론 모델을 만들어냈지만, 계산 비용과 신뢰성 문제를 야기합니다. 본 논문에서는 Self-Discover 프레임워크의 인스턴스 수준 적응인 iSelf-Discover를 제시하고, 동적으로 생성된 구조화된 JSON 추론과 비구조화된 추론을 비교합니다. 다양한 벤치마크에 대한 실험 결과, 비구조화된 추론이 일관되게 우수한 성능을 보임을 보여줍니다. 특히, 복잡한 MATH 벤치마크에서 비구조화된 계획은 구조화된 접근 방식보다 최대 18.90%의 상대적 성능 향상을 달성했습니다. 제로샷 비구조화 iSelf-Discover 변형은 파이브샷 구조화된 변형보다 성능이 우수하여, 추론이 최종 답변에 앞서 동적으로 생성되더라도 이러한 차이가 중요함을 강조합니다. 또한, 최적의 계획 생성 세분성(인스턴스 수준 대 작업 수준)은 맥락에 따라 다름을 보여줍니다. 이러한 결과는 복잡한 문제 해결을 위한 구조화된 형식에 대한 의존성과 복합 시스템의 구성 방식을 재평가해야 함을 시사합니다.

시사점, 한계점

시사점:
비구조화된 추론이 구조화된 추론보다 복잡한 문제 해결에서 더 나은 성능을 보일 수 있음을 실험적으로 증명.
MATH 벤치마크에서 비구조화된 계획이 구조화된 계획보다 최대 18.90% 향상된 성능을 보임.
제로샷 비구조화 모델이 파이브샷 구조화 모델보다 우수한 성능을 나타냄.
계획 생성의 최적 세분성은 작업의 특성에 따라 달라짐을 제시.
복합 시스템 설계에서 구조화된 형식에 대한 의존성 재고 필요성 제시.
한계점:
특정 벤치마크와 모델에 국한된 결과일 수 있음.
다양한 유형의 문제와 모델에 대한 추가 연구가 필요함.
계산 비용 및 신뢰성 문제에 대한 추가적인 분석 필요.
최적의 계획 생성 세분성 결정에 대한 명확한 지침 부족.
👍