Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

LLMPR: A Novel LLM-Driven Transfer Learning based Petition Ranking Model

Created by
  • Haebom

저자

Avijit Gayen, Somyajit Chakraborty, Mainak Sen, Soham Paul, Angshuman Jana

개요

인도 사법부의 미해결 법적 사건 지속적 누적 문제 해결을 위해, 대규모 언어 모델 기반 청원 순위 지정 프레임워크인 LLMPR을 제안합니다. LLMPR은 전이 학습과 기계 학습을 활용하여 법적 청원의 맥락적 긴급성에 따라 우선순위를 자동으로 부여합니다. 7,593개의 주석이 달린 청원으로 구성된 ILDC 데이터셋을 활용하여 DistilBERT, LegalBERT, MiniLM과 같은 임베딩 기법을 통해 비정형 법률 텍스트를 처리하고 특징을 추출합니다. 텍스트 임베딩은 일수 차이, 순위 점수, 단어 수 등의 정량적 지표와 결합되어 Random Forest, Decision Tree, XGBoost, LightGBM, CatBoost 등 여러 기계 학습 모델을 훈련하는 데 사용됩니다. 실험 결과, Random Forest와 Decision Tree 모델이 99%가 넘는 정확도와 0.99의 Spearman 순위 상관관계를 보이며 우수한 성능을 나타냈습니다. 특히, 수치적 특징만 사용한 모델도 거의 최적의 순위 결과(R2 = 0.988, ρ = 0.998)를 달성했으며, LLM 기반 임베딩은 미미한 성능 향상만 보였습니다. 이는 자동 청원 순위 지정이 사법 업무 흐름을 효율화하고, 사건 적체를 줄이며, 법적 우선순위 결정의 공정성을 향상시킬 수 있음을 시사합니다.

시사점, 한계점

시사점:
자동화된 청원 순위 지정 시스템을 통해 인도 사법부의 사건 적체 문제 해결에 기여할 수 있음.
수치적 특징만으로도 높은 정확도의 순위 지정이 가능함을 보여줌으로써, LLM 사용에 대한 비용 효율성을 고려할 수 있음.
사법 절차의 효율성 및 공정성 향상 가능성 제시.
한계점:
LLM 기반 임베딩이 기대만큼 성능 향상에 기여하지 못함. 추가적인 LLM 활용 방안 모색 필요.
ILDC 데이터셋의 특성에 의존적인 결과일 수 있으므로, 다른 데이터셋에 대한 일반화 가능성 검증 필요.
모델의 설명력 및 투명성에 대한 추가적인 연구 필요. (예: 어떤 요소가 순위 결정에 가장 큰 영향을 미치는지에 대한 분석)
👍