Prompt-Matcher: Leveraging Large Models to Reduce Uncertainty in Schema Matching Results
Created by
- Haebom
Category
Empty
저자
Longyu Feng, Huahang Li, Chen Jason Zhang
개요
본 논문은 스키마 매칭 과정에서 발생하는 불확실성을 해결하기 위해 대규모 언어 모델(LLM) 기반의 새로운 접근 방식을 제시합니다. 기존 스키마 매칭 알고리즘은 다양한 데이터셋과 하이퍼파라미터 설정에 따라 여러 결과를 생성하며, 이러한 결과들에 동일한 확률을 부여하여 확률적 데이터베이스에 저장하는데, 이는 불확실성으로 인해 데이터 처리의 효율성과 신뢰성을 저하시킵니다. 본 연구는 LLM을 활용한 정교한 대응 관계 검증을 통해 불확실성을 줄이는 반복적인 과정을 제안합니다. 이 과정은 대응 관계 선택 알고리즘, 대응 관계 검증, 확률 분포 업데이트의 세 가지 주요 구성 요소로 이루어져 있으며, 여러 결과에 걸쳐 교차하는 대응 관계를 활용하여 불확실성을 감소시키는 데 중점을 둡니다. 최적의 대응 관계 집합을 선택하는 문제는 NP-hard 문제로 규정되며, 본 논문에서는 효율적인 근사 알고리즘을 제시합니다. 또한, GPT-4를 활용한 두 가지 프롬프트 템플릿을 개발하여 대응 관계 검증의 성능을 향상시켰으며, 실험 결과를 통해 제안된 접근 방식의 우수성과 강건성을 입증합니다.
시사점, 한계점
•
시사점:
◦
LLM을 활용한 스키마 매칭의 새로운 접근 방식 제시 및 불확실성 감소.
◦
효율적인 근사 알고리즘을 통해 NP-hard 문제 해결에 대한 기여.
◦
GPT-4 기반의 향상된 대응 관계 검증 프롬프트 개발.
◦
기존 방법보다 우수한 성능과 강건성을 실험적으로 검증.
•
한계점:
◦
제안된 방법의 성능은 사용하는 LLM(GPT-4)의 성능에 의존적일 수 있음.
◦
특정 유형의 데이터셋이나 스키마에 대해서는 일반화되지 않을 수 있음.
◦
LLM 사용으로 인한 비용 및 연산 시간 증가 가능성.
◦
다양한 LLM 모델에 대한 성능 비교 분석 부족.
