Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

LLM Agents for Interactive Workflow Provenance: Reference Architecture and Evaluation Methodology

Created by
  • Haebom

저자

Renan Souza, Timothy Poteet, Brian Etz, Daniel Rosendo, Amal Gueroudji, Woong Shin, Prasanna Balaprakash, Rafael Ferreira da Silva

개요

본 논문은 Edge, Cloud, HPC 환경을 아우르는 과학적 데이터 처리 워크플로우에서 생성되는 방대한 양의 provenance 데이터 분석을 위한 새로운 접근법을 제시한다. 기존의 방식들이 커스텀 스크립트, 구조화된 질의어, 정적 대시보드에 의존하여 데이터 상호작용에 제약이 있는 점을 개선하기 위해, 본 논문에서는 대화형 LLM(Large Language Model) 에이전트를 활용한 런타임 데이터 분석 방법론, 참조 아키텍처, 오픈소스 구현을 제안한다. 경량의 메타데이터 기반 설계를 통해 자연어를 구조화된 provenance 질의로 변환하고, LLaMA, GPT, Gemini, Claude 등 다양한 LLM을 사용한 실제 화학 워크플로우 평가를 통해 모듈형 설계, 프롬프트 튜닝, RAG(Retrieval-Augmented Generation)가 기록된 provenance을 넘어 정확하고 통찰력 있는 응답을 가능하게 함을 보여준다.

시사점, 한계점

시사점:
대화형 LLM 에이전트를 활용하여 복잡한 provenance 데이터 분석을 간소화할 수 있는 새로운 방법론 제시.
자연어 기반 질의를 통해 전문가가 아닌 사용자도 쉽게 provenance 데이터를 분석할 수 있도록 지원.
모듈형 설계, 프롬프트 튜닝, RAG를 통해 LLM의 정확도와 효율성을 향상시킬 수 있음을 증명.
오픈소스 구현을 통해 접근성과 재현성을 확보.
한계점:
특정 LLM과 워크플로우에 대한 평가 결과이므로, 다른 LLM이나 워크플로우에 대한 일반화 가능성은 제한적일 수 있음.
LLM의 성능에 의존적이므로, LLM의 한계(hallucination 등)가 결과의 정확성에 영향을 미칠 수 있음.
메타데이터 설계의 적절성이 분석 결과의 질에 영향을 미치므로, 메타데이터 설계에 대한 추가적인 연구가 필요할 수 있음.
👍