Daily Arxiv

This page organizes papers related to artificial intelligence published around the world.
This page is summarized using Google Gemini and is operated on a non-profit basis.
The copyright of the paper belongs to the author and the relevant institution. When sharing, simply cite the source.

Lost in Serialization: Invariance and Generalization of LLM Graph Reasoners

Created by
  • Haebom
Category
Empty

저자

Daniel Herbst, Lea Karbevska, Divyanshu Kumar, Akanksha Ahuja, Fatemeh Gholamzadeh Nasrabadi, Fabrizio Frasca

개요

본 논문은 대규모 언어 모델(LLM) 기반 그래프 추론기가 그래프 표현의 대칭성에 내재된 불변성을 갖지 못하는 문제를 다룹니다. 특히, 순차적 그래프 직렬화를 사용하는 LLM이 노드 재인덱싱, 엣지 재정렬 또는 서식 변경에 따라 다른 출력을 생성하여 견고성 문제를 야기할 수 있음을 지적합니다. 논문은 이러한 영향을 체계적으로 분석하고, 미세 조정을 통해 인코딩 민감도를 파악하며, 새로운 작업에 대한 일반화 능력을 연구합니다. 또한, 그래프 직렬화를 노드 레이블링, 엣지 인코딩 및 구문으로 분해하고, 포괄적인 벤치마킹 도구 세트를 통해 각 요소의 변동에 대한 LLM의 견고성을 평가합니다. 스펙트럼 작업을 통해 미세 조정된 추론기의 일반화 능력을 추가로 평가합니다. 결과적으로, 크기가 큰(미세 조정되지 않은) 모델이 더 견고하며, 미세 조정은 노드 재레이블링에 대한 민감도를 줄일 수 있지만 구조 및 형식의 변동에 대한 민감도를 증가시킬 수 있고, 새로운 작업에 대한 성능 향상을 일관되게 보이지 않는다는 것을 확인합니다.

시사점, 한계점

대규모 언어 모델 기반 그래프 추론기의 견고성 문제 해결을 위한 체계적인 분석 제시.
미세 조정이 인코딩 민감도에 미치는 영향 및 일반화 능력 평가.
그래프 직렬화의 세 가지 요소 분해 및 각 요소 변동에 대한 모델 견고성 평가.
스펙트럼 작업을 통해 미세 조정된 추론기의 일반화 능력 추가 평가.
더 큰 모델(미세 조정X)이 더 견고하다는 결과.
미세 조정이 구조 및 형식 변동에 대한 민감도를 증가시킬 수 있음.
새로운 작업에 대한 성능 향상이 일관되지 않음.
👍