문제인식 (Problem) [선택적 섹션]
1. 외적 동기 (시장 상황 및 기회) (최근 시장 동향과 기술 발전에 따른 기회를 기술합니다)
• {시장 트렌드, 경쟁 상황, 기술 혁신 등} (필요한 시장 분석 내용을 입력) <예: 건강에 대한 관심 증가, 기술 발전에 따른 사용자 맞춤형 서비스 수요 확대>
2. 내적 동기 (회사 내부 역량 및 가치) (회사 내부의 강점 및 역량을 기술하세요)
• {경영진의 역량, 기술, 네트워크, 가치관 등} (핵심 역량과 조직의 가치를 서술) <예: R&D 역량 강화, 의료 전문가와의 협업 네트워크 보유>
3. 매출 한계점 및 신제품 개발 필요성 (현재 문제점과 이를 극복하기 위한 필요성을 명시합니다)
• {매출 정체, 시장 점유율 하락, 보완해야 할 기능 등} (구체적 지표와 문제점을 기록) <예: 기존 제품 매출 성장률 정체, 경쟁 제품 대비 서비스 기능 부족>
키워드
• {문제 인식, 외적 동기, 내적 동기, 매출 한계점, 신제품 개발 필요성} (주요 키워드를 입력하세요) <예: "혁신, 참여, 성장, 개선">
순서가 프롬프트를 설계할때 중요한 요소일까요?
네~ 순서 중요하고 절대적으로 영향을 미칩니다. 어떤 요소를 어떤 순서에 따라 놓느냐에 따라 결과가 달라져요. 예를들어, 번역 같은 경우는 "명령문" -"문서" 의 순서가 정확한 번역의 결과를 얻으니까요. 하려는 과제에 따라, 순서가 참 중요합니다. 그래서, 프롬프트를 어느 정도 제작했다면 요소별 구조테스트를 진행합니다.
2. rag의 프롬프트 결과를 만족도로 평가하기에는 한계(시간, 인력)가 있다고 생각합니다. 개발자는 도메인(법, 금융, 의학) 지식이 부족하니, 프롬프트 설계는 물론 평가할때 (할루시네이션 유무, intent를 잘 파악, context 활용)기준을 다 체크하기엔 힘듭니다.대표님께서는 어떤 기준과 방법으로 프롬프트 성능을 평가하시나요?
3. 저는 문서내용 기반으로 사용자 의도를 예측한 질문, 정답 답변(GT), 모델 답변 이렇게 하고 나온 결과를 평가합니다.
프롬프트를 평가할 도메인 (법, 의학) 질문(테스트케이스)을 만드는 것도 일이더라구요.. 저는 llm의 도움을 받지만,, 대표님께서는 테스트 케이스를 직접 만들어서 평가하시나요? 어떻게 하시나요?
위의 질문들은 제가 직접 사내 rag 시스템의 프롬프트를 테스트 하고 평가하면서 겪고 고민하고 있었던 부분입니다 감사합니다.