본 논문은 대규모 언어 모델(LLM)의 정확하고 일관된 추론을 개선하기 위해 논리적 추론의 가변성 문제를 해결하고자 한다. 특히 LLM이 추론 순서 변동에 어려움을 겪고 논리적으로 동등한 변환에 대한 일반화에 실패하는 점에 주목하여, 조건 순서 변동과 추론 단계 재정렬을 포함하는 순서 중심 데이터 증강 프레임워크를 제안한다. 이를 위해 독립적인 전제를 무작위로 섞고, 추론 단계 간 종속성을 모델링하는 방향 비순환 그래프(DAG)를 활용하여 논리적 정확성을 유지하면서 단계 재정렬을 수행한다. 다양한 논리적 추론 벤치마크를 통해 제안된 방법론이 LLM의 추론 성능과 다양한 논리 구조에 대한 적응성을 크게 향상시킴을 입증한다.
시사점, 한계점
•
시사점:
◦
LLM의 논리적 추론 능력 향상에 기여: 순서 중심 데이터 증강을 통해 LLM이 더욱 유연하고 일반화된 추론 프로세스를 개발하도록 돕는다.
◦
다양한 논리적 구조에 대한 적응성 향상: 제안된 방법론은 LLM이 다양한 논리 구조에 더 잘 적응하도록 돕는다.
◦
공개된 코드 및 데이터: 연구의 재현 및 확장을 용이하게 한다.
•
한계점:
◦
DAG 기반 재정렬의 복잡성: DAG 구성 및 유효한 재정렬 방법의 식별 과정이 복잡할 수 있다.
◦
추론 벤치마크 의존성: 다양한 벤치마크에서의 성능 향상을 보였지만, 실제 문제 해결 능력의 일반화 가능성을 추가적으로 검증해야 한다.
