RAG의 비용을 줄이는 또 하나의 방법, ‘생성’과 ‘판단’을 분리하기
너무 오랜만에 글을 적게 됩니다. 오늘은 내부에서 Jev 사용하며 RAG 시스템 비용을 최소화 하기 위한 내용을 다루어 보고자 합니다. RAG 시스템을 개선할 때 가장 먼저 떠오르는 방법은 더 좋은 언어모델을 사용하는 것입니다. 하지만 실제 파이프라인을 살펴보면, 모델이 수행하는 작업 중 상당수는 답변 작성보다 작은 판단에 가깝습니다. 어떤 문서를 검색해야 하는지, 검색된 내용이 질문과 얼마나 관련 있는지, 확보한 자료만으로 답변할 수 있는지를 결정하는 일입니다. 이런 작업에도 매번 생성형 LLM을 호출해야 할까요? Jev는 이 지점에서 살펴볼 만한 모델입니다. 답변을 작성하는 역할과 판단하는 역할을 분리해, RAG의 각 단계에 적합한 모델을 배치하는 접근입니다. 문장을 만드는 모델과 판단을 반환하는 모델 생성형 LLM은 주어진 맥락을 바탕으로 설명을 만들고 답변을 작성합니다. 반면 Jev는 입력된 정보와 질문을 평가해, 소프트웨어가 바로 사용할 수 있는 구조화된 판단을 반환합니다. 대표적인 출력 유형은 세 가지입니다. 유형 하는 일 RAG에서의 활용 예 Choice 정해진 후보 중 하나를 선택 검색할 문서 유형이나 답변 모델 선택 Score 정의된 평가 기준에 따라 점수 부여 검색된 문서의 관련성 평가 Noul Yes/No 질문에 대해 Yes 확률 반환
S
