[프롬프트 소통 공간 안내]
프롬프트와 프롬프트 엔지니어링 관련해 관심이 있다면,
다음의 두 곳을 방문하셔서, 정보와 이야기 나누어 주세요.
다음의 두 곳을 방문하셔서, 정보와 이야기 나누어 주세요.
•
Open KakaoTalk Group Chat : 국내 1호 프롬프트 엔지니어의 'the prompt'
•
YouTube 프롬수진
QnA
[프롬프트 소통 공간 안내]
@Sujin_Kang 박사님 안녕하세요!
내부 프로젝트에서 thought 시리즈 중 ToT, GoT 적용을 검토하고 있습니다.
이론적으로는 과제 해결에 적합한 방식이라고 생각하는데, 실제 구현 사례나 적용 예시를 찾지 못해 어려움을 겪고 있습니다.
혹시 박사님께서 관련 사례나 구현 예시(github, gitlab 등)를 알고 계신다면 공유해주실 수 있을까요?
참고할 수 있는 자료가 있다면 큰 도움이 될 것 같습니다.
바쁘시겠지만, 조언 주시면 감사하겠습니다. 좋은 하루 되세요:)
이론적으로는 과제 해결에 적합한 방식이라고 생각하는데, 실제 구현 사례나 적용 예시를 찾지 못해 어려움을 겪고 있습니다.
혹시 박사님께서 관련 사례나 구현 예시(github, gitlab 등)를 알고 계신다면 공유해주실 수 있을까요?
참고할 수 있는 자료가 있다면 큰 도움이 될 것 같습니다.
바쁘시겠지만, 조언 주시면 감사하겠습니다. 좋은 하루 되세요:)
1
안녕하세요, AI Agent에 사용자와의 상호작용 정보를 장단기 맥락(Context)으로 적용하는 방법을 찾던 중, "프롬프트 엔지니어의 업무일지"에서 single turn, pair, multi turn, 그리고 topic의 개념을 보았습니다. 각 개념이 아래와 같은 관계를 갖는게 맞을까요?
•
single turn: 하나의 HumanMessage나 AIMessage
◦
Ex) human: 맛집 찾아줘
•
pair: 2개의 single turn의 조합으로, 주고 받은 메시지
◦
Ex) human: 맛집 찾아줘 / ai: 두끼를 추천 드립니다.
•
multi turn: 하나 이상의 pair와 부가적인 single turn의 조합으로 하나의 주제와 관련된 대화
◦
Ex) pair1 - [human: 맛집 찾아줘 / ai: 두끼를 추천 드립니다.]; pair2 - [human: 다른 곳은? / ai: 탭 퍼블릭은 어때요?]; single turn - [human: 좋아.]
•
topic: multi turn에 나타난 주제
◦
Ex) 위의 multi turn의 topic은 "맛집 탐색"입니다.
만약 맞다면, 아래의 문장들이 상호 대치될 수 있는지 궁금합니다.
•
"사용자의 multi turn을 유도한다" ↔ "사용자가 단일 주제로 여러 번의 pairs를 이어가도록 유도한다"
•
"사용자와의 대화를 요약한다" ↔ "대화를 multi turn의 나열로 구분하고, 각각의 topic들을 찾는다."
•
"이전 대화 목록에서 유사한 내용을 찾는다" ↔ "이전의 topic들 중, 현재의 topic과 유사한 것을 찾는다"
See more...
1
박사님! 공사다망하신데 송구합니다. 질문있습니다.
현재 o3-mini-high 모듈을 지속적으로 테스트 중입니다. 해외 VC 투자자의 관점에서 사업계획서를 작성하는 과정에서, 기존 프롬프트는 대괄호, 중괄호, 꺽쇠괄호, 일반 괄호 등을 활용하여 구조화하였는데, o3-mini-high 모듈은 이러한 복잡한 형식을 사용하지 않아도 된다는 의미인지 궁금합니다.
박사님의 경험을 바탕으로 답변해 주시면 감사하겠습니다.
사업 아이템 요약
• [사업아이템명]: {사업아이템명}
(이 항목에는 제품의 이름 또는 서비스의 이름을 간략하게 입력하세요)
<예: "Green Health 앱">
• [분야]: {분야} (사업이 속하는 산업 분야를 명시합니다)
<예: 헬스케어, 모바일 애플리케이션>
• [엘리베이터 피치]:
- 문제 설명: {기존 제품/서비스가 직면한 문제점 요약}
(주요 문제점을 2~3문장으로 설명하세요) <예: 기존 건강 관리 앱의 낮은 사용자 참여율과 피드백 부재>
- 솔루션: {신제품 개발 의도 및 솔루션 방향}
(제시할 해결방안이나 신제품의 차별점을 간략하게 기술하세요) <예: 맞춤형 건강 관리와 실시간 피드백을 제공하는 차별화된 기능 도입>
(이 항목에는 제품의 이름 또는 서비스의 이름을 간략하게 입력하세요)
<예: "Green Health 앱">
• [분야]: {분야} (사업이 속하는 산업 분야를 명시합니다)
<예: 헬스케어, 모바일 애플리케이션>
• [엘리베이터 피치]:
- 문제 설명: {기존 제품/서비스가 직면한 문제점 요약}
(주요 문제점을 2~3문장으로 설명하세요) <예: 기존 건강 관리 앱의 낮은 사용자 참여율과 피드백 부재>
- 솔루션: {신제품 개발 의도 및 솔루션 방향}
(제시할 해결방안이나 신제품의 차별점을 간략하게 기술하세요) <예: 맞춤형 건강 관리와 실시간 피드백을 제공하는 차별화된 기능 도입>
문제인식 (Problem) [선택적 섹션]
1. 외적 동기 (시장 상황 및 기회) (최근 시장 동향과 기술 발전에 따른 기회를 기술합니다)
• {시장 트렌드, 경쟁 상황, 기술 혁신 등} (필요한 시장 분석 내용을 입력) <예: 건강에 대한 관심 증가, 기술 발전에 따른 사용자 맞춤형 서비스 수요 확대>
2. 내적 동기 (회사 내부 역량 및 가치) (회사 내부의 강점 및 역량을 기술하세요)
• {경영진의 역량, 기술, 네트워크, 가치관 등} (핵심 역량과 조직의 가치를 서술) <예: R&D 역량 강화, 의료 전문가와의 협업 네트워크 보유>
3. 매출 한계점 및 신제품 개발 필요성 (현재 문제점과 이를 극복하기 위한 필요성을 명시합니다)
• {매출 정체, 시장 점유율 하락, 보완해야 할 기능 등} (구체적 지표와 문제점을 기록) <예: 기존 제품 매출 성장률 정체, 경쟁 제품 대비 서비스 기능 부족>
키워드
• {문제 인식, 외적 동기, 내적 동기, 매출 한계점, 신제품 개발 필요성} (주요 키워드를 입력하세요) <예: "혁신, 참여, 성장, 개선">
1. 외적 동기 (시장 상황 및 기회) (최근 시장 동향과 기술 발전에 따른 기회를 기술합니다)
• {시장 트렌드, 경쟁 상황, 기술 혁신 등} (필요한 시장 분석 내용을 입력) <예: 건강에 대한 관심 증가, 기술 발전에 따른 사용자 맞춤형 서비스 수요 확대>
2. 내적 동기 (회사 내부 역량 및 가치) (회사 내부의 강점 및 역량을 기술하세요)
• {경영진의 역량, 기술, 네트워크, 가치관 등} (핵심 역량과 조직의 가치를 서술) <예: R&D 역량 강화, 의료 전문가와의 협업 네트워크 보유>
3. 매출 한계점 및 신제품 개발 필요성 (현재 문제점과 이를 극복하기 위한 필요성을 명시합니다)
• {매출 정체, 시장 점유율 하락, 보완해야 할 기능 등} (구체적 지표와 문제점을 기록) <예: 기존 제품 매출 성장률 정체, 경쟁 제품 대비 서비스 기능 부족>
키워드
• {문제 인식, 외적 동기, 내적 동기, 매출 한계점, 신제품 개발 필요성} (주요 키워드를 입력하세요) <예: "혁신, 참여, 성장, 개선">
4
Share
곽
곽송해
안녕하세요.
제가 프로젝트를 리드하고 가이드하는 업무를 하고 있습니다.
그래서 프롬프트 성능 및 생성형 AI 프로젝트를 수행하면서 품질 수준을 평가할 품질 지표, scale, 선정근거 또는 산정식을 프로젝트에 가이드하려고 하는데 마땅히 정의된 것을 찾지 못했습니다.
현재 우리나라의 공인된 기관에서는 데이터에 대한 품질관리 가이드라인은 있지만 프롬프트나 생성형AI 프로젝트에 대한 품질지표는 없어서요.
박사님이 해외 논문을 공부하면서 알고 있는 품질지표 및 품질 수준(이 정도면 pass 수준), 산정식 등에 대해 문의를 드립니다.
특히 품질수준은 고객들은 일반적인 수준/Global Standard 회사들은 이런 품질지표를 80%, 또는 90%를 기준으로 평가한다와 같이 선정한 근거가 되는 hurdle을 요구하기도 합니다.
혹시 가지고 계신 자료 중에 이와 같은 내용이 있거나 참조가 되는 것이 있으면 공유 부탁드립니다.
그래서 프롬프트 성능 및 생성형 AI 프로젝트를 수행하면서 품질 수준을 평가할 품질 지표, scale, 선정근거 또는 산정식을 프로젝트에 가이드하려고 하는데 마땅히 정의된 것을 찾지 못했습니다.
현재 우리나라의 공인된 기관에서는 데이터에 대한 품질관리 가이드라인은 있지만 프롬프트나 생성형AI 프로젝트에 대한 품질지표는 없어서요.
박사님이 해외 논문을 공부하면서 알고 있는 품질지표 및 품질 수준(이 정도면 pass 수준), 산정식 등에 대해 문의를 드립니다.
특히 품질수준은 고객들은 일반적인 수준/Global Standard 회사들은 이런 품질지표를 80%, 또는 90%를 기준으로 평가한다와 같이 선정한 근거가 되는 hurdle을 요구하기도 합니다.
혹시 가지고 계신 자료 중에 이와 같은 내용이 있거나 참조가 되는 것이 있으면 공유 부탁드립니다.
1
See latest comments
아 그래서 여러차례 어떤 평가나 테스트 지표에 대해서 문의를 해주셨군요. 말씀하신 것처럼, 아직 이렇다할 품질지표 및 품질 수준에 대한 일반적인 기준이라는 것이 없습니다. 너무 잘 아시겠지만, 도메인에 따라서, 어떤 프로젝트냐에 따라서 "기준"이라는 것을 정성적으로 만들거나, 혹은 정량적으로 평가가 이루어지고 있기 때문이라는 생각이 들어요.
논문들에서도, 벤치마크를 위한 정답이 있는 경우(수학문제, 물리학 문제 등) 를 많이 사용하죠.
제가 온라인 강의에서 소개드리는 기준들은,
일반 생성형 AI를 이용하는 불특정 다수의 사용자가, 사용시에 "만족"할 때의 특징을 평가하기 위해, 제가 연구한 결과의 기준인데요. 이또한 어떤 특정 도메인에 적용하기는 어려운 것 같습니다. 그렇지만, 제 기준이 혹시나 업무에 도움이 된다고 한다면, 기준 정도는 말씀드릴 수 있습니다.