[프롬프트 소통 공간 안내]
프롬프트와 프롬프트 엔지니어링 관련해 관심이 있다면,
다음의 두 곳을 방문하셔서, 정보와 이야기 나누어 주세요.
다음의 두 곳을 방문하셔서, 정보와 이야기 나누어 주세요.
•
Open KakaoTalk Group Chat : 국내 1호 프롬프트 엔지니어의 'the prompt'
•
YouTube 프롬수진
QnA
[프롬프트 소통 공간 안내]
@Sujin_Kang 박사님 안녕하세요!
내부 프로젝트에서 thought 시리즈 중 ToT, GoT 적용을 검토하고 있습니다.
이론적으로는 과제 해결에 적합한 방식이라고 생각하는데, 실제 구현 사례나 적용 예시를 찾지 못해 어려움을 겪고 있습니다.
혹시 박사님께서 관련 사례나 구현 예시(github, gitlab 등)를 알고 계신다면 공유해주실 수 있을까요?
참고할 수 있는 자료가 있다면 큰 도움이 될 것 같습니다.
바쁘시겠지만, 조언 주시면 감사하겠습니다. 좋은 하루 되세요:)
이론적으로는 과제 해결에 적합한 방식이라고 생각하는데, 실제 구현 사례나 적용 예시를 찾지 못해 어려움을 겪고 있습니다.
혹시 박사님께서 관련 사례나 구현 예시(github, gitlab 등)를 알고 계신다면 공유해주실 수 있을까요?
참고할 수 있는 자료가 있다면 큰 도움이 될 것 같습니다.
바쁘시겠지만, 조언 주시면 감사하겠습니다. 좋은 하루 되세요:)
1
안녕하세요, AI Agent에 사용자와의 상호작용 정보를 장단기 맥락(Context)으로 적용하는 방법을 찾던 중, "프롬프트 엔지니어의 업무일지"에서 single turn, pair, multi turn, 그리고 topic의 개념을 보았습니다. 각 개념이 아래와 같은 관계를 갖는게 맞을까요?
•
single turn: 하나의 HumanMessage나 AIMessage
◦
Ex) human: 맛집 찾아줘
•
pair: 2개의 single turn의 조합으로, 주고 받은 메시지
◦
Ex) human: 맛집 찾아줘 / ai: 두끼를 추천 드립니다.
•
multi turn: 하나 이상의 pair와 부가적인 single turn의 조합으로 하나의 주제와 관련된 대화
◦
Ex) pair1 - [human: 맛집 찾아줘 / ai: 두끼를 추천 드립니다.]; pair2 - [human: 다른 곳은? / ai: 탭 퍼블릭은 어때요?]; single turn - [human: 좋아.]
•
topic: multi turn에 나타난 주제
◦
Ex) 위의 multi turn의 topic은 "맛집 탐색"입니다.
만약 맞다면, 아래의 문장들이 상호 대치될 수 있는지 궁금합니다.
•
"사용자의 multi turn을 유도한다" ↔ "사용자가 단일 주제로 여러 번의 pairs를 이어가도록 유도한다"
•
"사용자와의 대화를 요약한다" ↔ "대화를 multi turn의 나열로 구분하고, 각각의 topic들을 찾는다."
•
"이전 대화 목록에서 유사한 내용을 찾는다" ↔ "이전의 topic들 중, 현재의 topic과 유사한 것을 찾는다"
See more...
1
박사님! 공사다망하신데 송구합니다. 질문있습니다.
현재 o3-mini-high 모듈을 지속적으로 테스트 중입니다. 해외 VC 투자자의 관점에서 사업계획서를 작성하는 과정에서, 기존 프롬프트는 대괄호, 중괄호, 꺽쇠괄호, 일반 괄호 등을 활용하여 구조화하였는데, o3-mini-high 모듈은 이러한 복잡한 형식을 사용하지 않아도 된다는 의미인지 궁금합니다.
박사님의 경험을 바탕으로 답변해 주시면 감사하겠습니다.
사업 아이템 요약
• [사업아이템명]: {사업아이템명}
(이 항목에는 제품의 이름 또는 서비스의 이름을 간략하게 입력하세요)
<예: "Green Health 앱">
• [분야]: {분야} (사업이 속하는 산업 분야를 명시합니다)
<예: 헬스케어, 모바일 애플리케이션>
• [엘리베이터 피치]:
- 문제 설명: {기존 제품/서비스가 직면한 문제점 요약}
(주요 문제점을 2~3문장으로 설명하세요) <예: 기존 건강 관리 앱의 낮은 사용자 참여율과 피드백 부재>
- 솔루션: {신제품 개발 의도 및 솔루션 방향}
(제시할 해결방안이나 신제품의 차별점을 간략하게 기술하세요) <예: 맞춤형 건강 관리와 실시간 피드백을 제공하는 차별화된 기능 도입>
(이 항목에는 제품의 이름 또는 서비스의 이름을 간략하게 입력하세요)
<예: "Green Health 앱">
• [분야]: {분야} (사업이 속하는 산업 분야를 명시합니다)
<예: 헬스케어, 모바일 애플리케이션>
• [엘리베이터 피치]:
- 문제 설명: {기존 제품/서비스가 직면한 문제점 요약}
(주요 문제점을 2~3문장으로 설명하세요) <예: 기존 건강 관리 앱의 낮은 사용자 참여율과 피드백 부재>
- 솔루션: {신제품 개발 의도 및 솔루션 방향}
(제시할 해결방안이나 신제품의 차별점을 간략하게 기술하세요) <예: 맞춤형 건강 관리와 실시간 피드백을 제공하는 차별화된 기능 도입>
문제인식 (Problem) [선택적 섹션]
1. 외적 동기 (시장 상황 및 기회) (최근 시장 동향과 기술 발전에 따른 기회를 기술합니다)
• {시장 트렌드, 경쟁 상황, 기술 혁신 등} (필요한 시장 분석 내용을 입력) <예: 건강에 대한 관심 증가, 기술 발전에 따른 사용자 맞춤형 서비스 수요 확대>
2. 내적 동기 (회사 내부 역량 및 가치) (회사 내부의 강점 및 역량을 기술하세요)
• {경영진의 역량, 기술, 네트워크, 가치관 등} (핵심 역량과 조직의 가치를 서술) <예: R&D 역량 강화, 의료 전문가와의 협업 네트워크 보유>
3. 매출 한계점 및 신제품 개발 필요성 (현재 문제점과 이를 극복하기 위한 필요성을 명시합니다)
• {매출 정체, 시장 점유율 하락, 보완해야 할 기능 등} (구체적 지표와 문제점을 기록) <예: 기존 제품 매출 성장률 정체, 경쟁 제품 대비 서비스 기능 부족>
키워드
• {문제 인식, 외적 동기, 내적 동기, 매출 한계점, 신제품 개발 필요성} (주요 키워드를 입력하세요) <예: "혁신, 참여, 성장, 개선">
1. 외적 동기 (시장 상황 및 기회) (최근 시장 동향과 기술 발전에 따른 기회를 기술합니다)
• {시장 트렌드, 경쟁 상황, 기술 혁신 등} (필요한 시장 분석 내용을 입력) <예: 건강에 대한 관심 증가, 기술 발전에 따른 사용자 맞춤형 서비스 수요 확대>
2. 내적 동기 (회사 내부 역량 및 가치) (회사 내부의 강점 및 역량을 기술하세요)
• {경영진의 역량, 기술, 네트워크, 가치관 등} (핵심 역량과 조직의 가치를 서술) <예: R&D 역량 강화, 의료 전문가와의 협업 네트워크 보유>
3. 매출 한계점 및 신제품 개발 필요성 (현재 문제점과 이를 극복하기 위한 필요성을 명시합니다)
• {매출 정체, 시장 점유율 하락, 보완해야 할 기능 등} (구체적 지표와 문제점을 기록) <예: 기존 제품 매출 성장률 정체, 경쟁 제품 대비 서비스 기능 부족>
키워드
• {문제 인식, 외적 동기, 내적 동기, 매출 한계점, 신제품 개발 필요성} (주요 키워드를 입력하세요) <예: "혁신, 참여, 성장, 개선">
4
Share
김
김지민
안녕하세요 대표님, 오늘 좋은 북콘서트를 열어주셔서 감사합니다. 유익하고 많이 배웠습니다!
<프롬프트 구성 순서 관련>
1. 동일한 내용(시스템 프롬프트, 검색된 문서, 질문)이라도 순서에 따라 결과가 달라지더라구요.
혹시 프롬프트의 구성 순서가 프롬프트를 설계할때 중요한 요소일까요?
<프롬프트 구성 순서 관련>
1. 동일한 내용(시스템 프롬프트, 검색된 문서, 질문)이라도 순서에 따라 결과가 달라지더라구요.
혹시 프롬프트의 구성 순서가 프롬프트를 설계할때 중요한 요소일까요?
<RAG 시스템 - 프롬프트 평가>
2. rag의 프롬프트 결과를 만족도로 평가하기에는 한계(시간, 인력)가 있다고 생각합니다. 개발자는 도메인(법, 금융, 의학) 지식이 부족하니, 프롬프트 설계는 물론 평가할때 (할루시네이션 유무, intent를 잘 파악, context 활용)기준을 다 체크하기엔 힘듭니다.대표님께서는 어떤 기준과 방법으로 프롬프트 성능을 평가하시나요?
<테스트 케이스 생성>
3. 저는 문서내용 기반으로 사용자 의도를 예측한 질문, 정답 답변(GT), 모델 답변 이렇게 하고 나온 결과를 평가합니다.
프롬프트를 평가할 도메인 (법, 의학) 질문(테스트케이스)을 만드는 것도 일이더라구요.. 저는 llm의 도움을 받지만,, 대표님께서는 테스트 케이스를 직접 만들어서 평가하시나요? 어떻게 하시나요?
3. 저는 문서내용 기반으로 사용자 의도를 예측한 질문, 정답 답변(GT), 모델 답변 이렇게 하고 나온 결과를 평가합니다.
프롬프트를 평가할 도메인 (법, 의학) 질문(테스트케이스)을 만드는 것도 일이더라구요.. 저는 llm의 도움을 받지만,, 대표님께서는 테스트 케이스를 직접 만들어서 평가하시나요? 어떻게 하시나요?
위의 질문들은 제가 직접 사내 rag 시스템의 프롬프트를 테스트 하고 평가하면서 겪고 고민하고 있었던 부분입니다 감사합니다.
2
See latest comments
순서가 프롬프트를 설계할때 중요한 요소일까요?
네~ 순서 중요하고 절대적으로 영향을 미칩니다. 어떤 요소를 어떤 순서에 따라 놓느냐에 따라 결과가 달라져요. 예를들어, 번역 같은 경우는 "명령문" -"문서" 의 순서가 정확한 번역의 결과를 얻으니까요. 하려는 과제에 따라, 순서가 참 중요합니다. 그래서, 프롬프트를 어느 정도 제작했다면 요소별 구조테스트를 진행합니다.
2. rag의 프롬프트 결과를 만족도로 평가하기에는 한계(시간, 인력)가 있다고 생각합니다. 개발자는 도메인(법, 금융, 의학) 지식이 부족하니, 프롬프트 설계는 물론 평가할때 (할루시네이션 유무, intent를 잘 파악, context 활용)기준을 다 체크하기엔 힘듭니다.대표님께서는 어떤 기준과 방법으로 프롬프트 성능을 평가하시나요?
3. 저는 문서내용 기반으로 사용자 의도를 예측한 질문, 정답 답변(GT), 모델 답변 이렇게 하고 나온 결과를 평가합니다.
프롬프트를 평가할 도메인 (법, 의학) 질문(테스트케이스)을 만드는 것도 일이더라구요.. 저는 llm의 도움을 받지만,, 대표님께서는 테스트 케이스를 직접 만들어서 평가하시나요? 어떻게 하시나요?
위의 질문들은 제가 직접 사내 rag 시스템의 프롬프트를 테스트 하고 평가하면서 겪고 고민하고 있었던 부분입니다 감사합니다.