Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Lost in Serialization: Invariance and Generalization of LLM Graph Reasoners

Created by
  • Haebom
Category
Empty

저자

Daniel Herbst, Lea Karbeska, Divyanshu Kumar, Akanksha Ahuja, Fatemeh Gholamzadeh Nasrabadi, Fabrizio Frasca

그래프 기반 추론 LLM의 강건성 분석

개요

대규모 언어 모델(LLM) 기반의 그래프 추론기는 유망하지만, 그래프 표현의 대칭성에 대한 내재적 불변성을 갖지 못합니다. 순차적 그래프 직렬화에 의존하여 작동하기 때문에, LLM은 노드 재인덱싱, 엣지 재정렬 또는 서식 변경에 따라 다른 출력을 생성하여 견고성 문제를 야기합니다. 본 논문에서는 이러한 효과를 체계적으로 분석하고, 미세 조정이 인코딩 민감도와 미지의 작업에 대한 일반화에 미치는 영향을 연구합니다. 또한, 그래프 직렬화를 노드 레이블링, 엣지 인코딩 및 구문으로 분해하고, 포괄적인 벤치마킹 도구에서 이러한 각 요인의 변동에 대한 LLM의 강건성을 평가합니다. 미세 조정된 추론기의 일반화 능력을 더욱 평가하기 위해 새로운 스펙트럼 작업 세트를 제공합니다.

시사점, 한계점

대형 (미세 조정되지 않은) 모델이 더 강력합니다.
미세 조정은 노드 재레이블링에 대한 민감도를 줄일 수 있지만, 구조 및 형식의 변동에 대한 민감도를 증가시킬 수 있습니다.
미세 조정은 미지의 작업에 대한 성능을 일관되게 향상시키지 못합니다.
LLM 기반 그래프 추론기의 강건성 문제는 해결해야 할 중요한 과제입니다.
그래프 표현의 대칭성에 대한 불변성을 확보하는 것이 중요합니다.
미세 조정의 효과는 모델의 종류, 훈련 데이터 및 작업에 따라 달라질 수 있습니다.
👍