# Untitled

안녕하세요 대표님, 오늘 좋은 북콘서트를 열어주셔서 감사합니다. 유익하고 많이 배웠습니다!

<프롬프트 구성 순서 관련>
1. 동일한 내용(시스템 프롬프트, 검색된 문서, 질문)이라도 순서에 따라 결과가 달라지더라구요. 
혹시 프롬프트의 구성 순서가 프롬프트를 설계할때 중요한 요소일까요?

<RAG 시스템 - 프롬프트 평가> 
2. rag의 프롬프트 결과를 만족도로 평가하기에는 한계(시간, 인력)가 있다고 생각합니다.  개발자는 도메인(법, 금융, 의학) 지식이 부족하니, 프롬프트 설계는 물론 평가할때 (할루시네이션 유무, intent를 잘 파악, context 활용)기준을 다 체크하기엔 힘듭니다.대표님께서는 어떤 기준과 방법으로 프롬프트 성능을 평가하시나요? 

<테스트 케이스 생성>
3. 저는 문서내용 기반으로 **사용자 의도를 예측한 질문,  정답 답변(GT), 모델 답변 **이렇게 하고 나온 결과를 평가합니다.
프롬프트를 평가할 도메인 (법, 의학) **질문(테스트케이스)을** 만드는 것도 일이더라구요.. 저는 llm의 도움을 받지만,,  대표님께서는 테스트 케이스를 직접 만들어서 평가하시나요? 어떻게 하시나요?

위의 질문들은 제가 직접 사내 rag 시스템의 프롬프트를 테스트 하고 평가하면서 겪고 고민하고 있었던 부분입니다 감사합니다.

For the site tree, see the [root Markdown](https://slashpage.com/sujin-prompt-engineer.md).