본 논문은 외부 도메인 특정 지식에 접근할 수 있는 AI 어시스턴트 구축을 위한 사실상 표준 접근 방식인 검색 증강 생성(RAG) 파이프라인의 개발 과정에서 발생하는 어려움을 해결하기 위해 RAGGY라는 개발자 도구를 제시한다. RAG 파이프라인은 사용자 질의에 대해 외부 소스에서 관련 정보를 검색한 후, 이 정보를 활용하여 대규모 언어 모델(LLM)을 통해 응답을 생성한다. 복수의 검색 및 생성 구성 요소를 임의의 순서로 연결하는 현대 RAG 파이프라인은 구성 요소 간의 상호 작용으로 인해 오류 원인 파악이 어렵고, 성능 개선을 위한 반복 작업에 많은 시간이 소요되는 문제점을 가지고 있다. RAGGY는 조합 가능한 RAG 기본 요소들의 Python 라이브러리와 실시간 디버깅을 위한 대화형 인터페이스를 결합하여 이러한 문제를 해결한다. 논문은 RAGGY의 설계 및 구현과 12명의 엔지니어를 대상으로 한 정성적 연구를 통해 얻은 전문가 디버깅 패턴에 대한 통찰력, 그리고 개발자의 자연스러운 작업 흐름과 더 잘 맞는 미래 RAG 도구를 위한 설계적 함의를 제시한다.
