Beyond One-Size-Fits-All: Adaptive Subgraph Denoising for Zero-Shot Graph Learning with Large Language Models

작성자

Haebom

카테고리

Empty

저자

Fengzhi Li, Liang Zhang, Yuan Zuo, Ruiqing Zhao, YanSong Liu, Yunfei Ma, Fanyu Meng, Junlan Feng

💡 개요

본 연구는 제로샷(zero-shot) 그래프 학습에서 대규모 언어 모델(LLM)의 성능을 저해하는 문제, 특히 고정된 하위 그래프 추출 방식이 야기하는 구조적 노이즈를 해결하고자 합니다. 이를 위해 'Sample-Select-Reason' 프로세스를 기반으로 한 적응형 하위 그래프 추출 및 노이즈 제거 프레임워크인 GraphSSR을 제안합니다. GraphSSR은 데이터 합성 기법(SSR-SFT)과 강화 학습(SSR-RL)을 통해 LLM이 맥락에 맞는 최적의 하위 그래프를 학습하여 제로샷 성능을 향상시킵니다.

🔑 시사점 및 한계

•

적응형 하위 그래프 추출의 중요성: 고정된 방식 대신, 각 추론 작업의 맥락에 맞춰 동적으로 하위 그래프를 선택하고 노이즈를 제거하는 것이 제로샷 그래프 학습의 성능 향상에 필수적임을 보여줍니다.

•

LLM 기반 그래프 추론의 새로운 방향 제시: LLM이 단순히 텍스트 정보를 넘어 그래프 구조의 노이즈를 인지하고 이를 극복하며 추론하는 능력을 강화할 수 있는 새로운 접근 방식을 제시합니다.

•

데이터 합성 및 강화 학습의 효과: 고품질 데이터 합성과 강화 학습 기법을 통해 LLM이 적응형 하위 그래프 추출 및 노이즈 제거 능력을 효과적으로 내재화할 수 있음을 입증합니다.

•

한계점: 제안된 SSR 파이프라인의 복잡성이 증가함에 따라 실제 적용 시 연산 효율성 및 확장성에 대한 추가적인 연구가 필요할 수 있습니다. 또한, 강화 학습 과정에서 학습 안정성과 최적화 문제도 고려해야 할 부분입니다.

PDF 보기

Made with Slashpage