Sign In

Responsible LLM Deployment for High-Stake Decisions by Decentralized Technologies and Human-AI Interactions

Created by
  • Haebom
Category
Empty

저자

Swati Sachan, Theo Miller, Mai Phuong Nguyen

개요

본 논문은 복잡한 의사 결정 작업을 위해 대규모 언어 모델(LLM)을 사용하는 것과 관련된 과제를 해결하기 위한 프레임워크를 제안합니다. 이 프레임워크는 사전 배포 단계에서 인간 전문가와 개발자 간의 반복적인 협업을 통해 불확실한 샘플을 평가하고 사후 XAI 기술의 설명 안정성을 판단하는 방식으로 작동합니다. 또한, 보안을 강화하고 책임 소재를 추적하기 위해 조직 내 로컬 LLM 배포와 블록체인, IPFS와 같은 분산 기술을 활용하여 LLM 활동에 대한 변경 불가능한 기록을 생성하는 방안을 제시합니다. 이 프레임워크는 Bert-large-uncased, Mistral, LLaMA 2, LLaMA 3 모델을 사용하여 비즈니스 대출에 대한 책임 있는 재무 의사 결정을 지원하는 능력을 평가했습니다.

시사점, 한계점

시사점:
LLM 기반 의사 결정 지원 시스템의 책임 있는 배포를 위한 프레임워크 제안
사전 배포 단계에서 인간-LLM 협업을 통해 불확실성 감소 및 설명 안정성 평가
보안 강화 및 책임 추적을 위한 로컬 LLM 배포 및 분산 기술 활용
비즈니스 대출 분야에서 프레임워크의 유효성 검증
한계점:
실제 배포 환경에서의 데이터 보안, 성능, 확장성, 법적 문제에 대한 추가 연구 필요
사후 XAI 기술의 한계 및 신뢰성 문제
다양한 LLM 모델 및 실제 사용 사례에 대한 적용 및 검증 필요
블록체인 및 IPFS 기술의 비용, 성능, 관리 복잡성 고려 필요
👍