유용한 강의를 제공해주셔서 감사드립니다.
많은 도움을 받고 있습니다.
언어학을 전공하셔서 그런지 여타 프롬프트 강의와는 비교 불가입니다.^^
감사합니다!!!
감사합니다!!!
Reaction
Comment
Share
질문을 위한 공간
안녕하세요.
제가 프로젝트를 리드하고 가이드하는 업무를 하고 있습니다.
그래서 프롬프트 성능 및 생성형 AI 프로젝트를 수행하면서 품질 수준을 평가할 품질 지표, scale, 선정근거 또는 산정식을 프로젝트에 가이드하려고 하는데 마땅히 정의된 것을 찾지 못했습니다.
현재 우리나라의 공인된 기관에서는 데이터에 대한 품질관리 가이드라인은 있지만 프롬프트나 생성형AI 프로젝트에 대한 품질지표는 없어서요.
박사님이 해외 논문을 공부하면서 알고 있는 품질지표 및 품질 수준(이 정도면 pass 수준), 산정식 등에 대해 문의를 드립니다.
특히 품질수준은 고객들은 일반적인 수준/Global Standard 회사들은 이런 품질지표를 80%, 또는 90%를 기준으로 평가한다와 같이 선정한 근거가 되는 hurdle을 요구하기도 합니다.
혹시 가지고 계신 자료 중에 이와 같은 내용이 있거나 참조가 되는 것이 있으면 공유 부탁드립니다.
그래서 프롬프트 성능 및 생성형 AI 프로젝트를 수행하면서 품질 수준을 평가할 품질 지표, scale, 선정근거 또는 산정식을 프로젝트에 가이드하려고 하는데 마땅히 정의된 것을 찾지 못했습니다.
현재 우리나라의 공인된 기관에서는 데이터에 대한 품질관리 가이드라인은 있지만 프롬프트나 생성형AI 프로젝트에 대한 품질지표는 없어서요.
박사님이 해외 논문을 공부하면서 알고 있는 품질지표 및 품질 수준(이 정도면 pass 수준), 산정식 등에 대해 문의를 드립니다.
특히 품질수준은 고객들은 일반적인 수준/Global Standard 회사들은 이런 품질지표를 80%, 또는 90%를 기준으로 평가한다와 같이 선정한 근거가 되는 hurdle을 요구하기도 합니다.
혹시 가지고 계신 자료 중에 이와 같은 내용이 있거나 참조가 되는 것이 있으면 공유 부탁드립니다.
1 Comment
Reaction
Comment
Share
안녕하세요.
아래 문의했던 내용에 추가 질문을 드립니다.
강의 중에 Part 7. 프롬프트 성능평가 부분에서 정성적/정량적 접근 부분에 실례를 보지 못해서 이해가 잘 되지 않는 부분이 있습니다.
1.
사용자 중심 평가에서 10개의 Sub-criteria는 교재에 있는데 12개의 Criteria가 없어서 전체를 알고 싶습니다.
2.
박사님이 사용한 정량적 프롬프트 평가 전략을 평가한 프롬프트 전문 공유 부탁드립니다.
Human Evaluation Scoring
LLM Response scoring
Satisfaction Response Evaluation
박사님의 답변은 읽었습니다.
그럼 12개의 criteria 는 알려주실 수 있으신가요?
그리고, 언제쯤 publish 할 지 대충이라도 일정을 알고 싶습니다.
그때, report 를 어디서 찾아볼 수 있는지도 궁금합니다.
많이 귀찮게 해드린 것 같아 죄송하고, 감사합니다.
그때, report 를 어디서 찾아볼 수 있는지도 궁금합니다.
많이 귀찮게 해드린 것 같아 죄송하고, 감사합니다.
2 Comment
Reaction
Comment
Share
안녕하세요, 어저께(2024.10.25) 북콘서트의 Talk를 잘 들었습니다. 어저께 슬리도에 올렸던 질문을 이곳에 다시 한번 올립니다. 초보 입문자의 입장에서 질문드립니다. 어저께 말씀하실 때 이런 질문을 많이 받으신다고 하셨는데, 어떤 견해를 가지고 계신지 궁금해서 저도 여쭙니다.
LLM모델들이 해마다 급변하는 상황이라 매년 프롬프트 기법들도 바뀌거나 또는 소용없게 되는 가능성도 있지 않을까 생각이 듭니다. 이미 유튜브에 '프롬프트 엔지니어링 필요없다고?'라는 제목의 동영상도 올라와 있는 것을 확인하였습니다. 과거 인터넷이 처음 나왔을 때 '인터넷 검색사' 자격증이 생겼던 적이 있었고, 대학에 '인터넷학과'가 생겨서 인터넷 검색하는 방법을 가르친 적이 있습니다. 그러다 누구나 쉽게 인터넷 검색할 수 있게 되면서 학과가 사라진 것처럼 혹시 프롬프트 엔지니어도 사라질 가능성이 있지 않을까 하는 생각이 들게 됩니다. 이와 같은 가능성에 대해 어떻게 생각하고 계시는지 그리고 새로운 파운데이션 모델이 나오는 경우에 대해 혹시 어떻게 대비하고 계신지 궁금해서 여쭙니다.
LLM모델들이 해마다 급변하는 상황이라 매년 프롬프트 기법들도 바뀌거나 또는 소용없게 되는 가능성도 있지 않을까 생각이 듭니다. 이미 유튜브에 '프롬프트 엔지니어링 필요없다고?'라는 제목의 동영상도 올라와 있는 것을 확인하였습니다. 과거 인터넷이 처음 나왔을 때 '인터넷 검색사' 자격증이 생겼던 적이 있었고, 대학에 '인터넷학과'가 생겨서 인터넷 검색하는 방법을 가르친 적이 있습니다. 그러다 누구나 쉽게 인터넷 검색할 수 있게 되면서 학과가 사라진 것처럼 혹시 프롬프트 엔지니어도 사라질 가능성이 있지 않을까 하는 생각이 들게 됩니다. 이와 같은 가능성에 대해 어떻게 생각하고 계시는지 그리고 새로운 파운데이션 모델이 나오는 경우에 대해 혹시 어떻게 대비하고 계신지 궁금해서 여쭙니다.
2 Comment
Reaction
Comment
Share
안녕하세요 대표님, 오늘 좋은 북콘서트를 열어주셔서 감사합니다. 유익하고 많이 배웠습니다!
<프롬프트 구성 순서 관련>
1. 동일한 내용(시스템 프롬프트, 검색된 문서, 질문)이라도 순서에 따라 결과가 달라지더라구요.
혹시 프롬프트의 구성 순서가 프롬프트를 설계할때 중요한 요소일까요?
<프롬프트 구성 순서 관련>
1. 동일한 내용(시스템 프롬프트, 검색된 문서, 질문)이라도 순서에 따라 결과가 달라지더라구요.
혹시 프롬프트의 구성 순서가 프롬프트를 설계할때 중요한 요소일까요?
<RAG 시스템 - 프롬프트 평가>
2. rag의 프롬프트 결과를 만족도로 평가하기에는 한계(시간, 인력)가 있다고 생각합니다. 개발자는 도메인(법, 금융, 의학) 지식이 부족하니, 프롬프트 설계는 물론 평가할때 (할루시네이션 유무, intent를 잘 파악, context 활용)기준을 다 체크하기엔 힘듭니다.대표님께서는 어떤 기준과 방법으로 프롬프트 성능을 평가하시나요?
<테스트 케이스 생성>
3. 저는 문서내용 기반으로 사용자 의도를 예측한 질문, 정답 답변(GT), 모델 답변 이렇게 하고 나온 결과를 평가합니다.
프롬프트를 평가할 도메인 (법, 의학) 질문(테스트케이스)을 만드는 것도 일이더라구요.. 저는 llm의 도움을 받지만,, 대표님께서는 테스트 케이스를 직접 만들어서 평가하시나요? 어떻게 하시나요?
3. 저는 문서내용 기반으로 사용자 의도를 예측한 질문, 정답 답변(GT), 모델 답변 이렇게 하고 나온 결과를 평가합니다.
프롬프트를 평가할 도메인 (법, 의학) 질문(테스트케이스)을 만드는 것도 일이더라구요.. 저는 llm의 도움을 받지만,, 대표님께서는 테스트 케이스를 직접 만들어서 평가하시나요? 어떻게 하시나요?
위의 질문들은 제가 직접 사내 rag 시스템의 프롬프트를 테스트 하고 평가하면서 겪고 고민하고 있었던 부분입니다 감사합니다.
1 Reaction
2 Comment
Reaction
Comment
Share
안녕하세요.
강의 중에 Part 7. 프롬프트 성능평가 부분에서 정성적/정량적 접근 부분에 실례를 보지 못해서 이해가 잘 되지 않는 부분이 있습니다.
1. 사용자 중심 평가에서 10개의 Sub-criteria는 교재에 있는데 12개의 Criteria가 없어서 전체를 알고 싶습니다.
2.
박사님이 사용한 정량적 프롬프트 평가 전략을 평가한 프롬프트 전문 공유 부탁드립니다.
- Human Evaluation Scoring
- LLM Response scoring
- Satisfaction Response Evaluation
감사합니다.
2 Comment
Reaction
Comment
Share
안녕하세요. 저는 박사님의 "국내 공채 1호 프롬프트 엔지니어 강수진의 프롬프트 엔지니어링 A to Z"
과정을 수강하고 있습니다.
과정을 수강하고 있습니다.
강의 중에 "Ch01-01. 프롬프트 엔지니어 핵심 역량 및 업무 주요 영역" chapter 내용 중
"프롬프트 평가 메트릭 설계 & LLM 파이프라인 개발" 장표에 Flow Diagram 의 텍스트가 보이지 않아서 내용을 이해하지 못하고 있습니다.
"프롬프트 평가 메트릭 설계 & LLM 파이프라인 개발" 장표에 Flow Diagram 의 텍스트가 보이지 않아서 내용을 이해하지 못하고 있습니다.
텍스트가 잘 보이는 Flow diagram 을 보내 주실 수 있으면 송부 요청 드리고, 혹시 참조한 사이트 정보를 알려 주실 수 있으면 URL을 알려주셔도 좋습니다.
부탁드립니다.
감사합니다. 즐거운 주말 보내세요 ~~
감사합니다. 즐거운 주말 보내세요 ~~
2 Comment
Reaction
Comment
Share
자주 묻는 질문 정리: FastCampus 온라인과 오프라인 수업의 차이점
감사하게도 요즘 어딜가나 제 강의를 수강하시는 분을 만나뵙고 있습니다. 온라인과 오프라인 프롬프트 엔지니어링의 커리큘럼이 같다보니 자주 물어보시는 질문을 이 곳에 정리 드려요. 읽어보시고 목표에 맞게 수강하시면 될 것 같습니다.
1️⃣ 타깃 수강생
온라인: 누구나 들을 수 있는 프롬프트 기초내용입니다.
오프라인: 엔지니어(AI Engineer, ML Engineer, Data Engineer)가 대상이며, 프롬프트 중급-심화 버전입니다.
2️⃣ 강의 목표
온라인: 프롬프트 엔지니어링 기본 기법과 간단한 프롬프트 테스트 방법
오프라인: LLM 활용을 극대화하기 위한 프롬프트 기능 개발, 프롬프트 엔지니어링 방법
3️⃣ 주안점
온라인: 프롬프팅과 프롬프트 엔지니어링에 대한 기본 개념과 실습
오프라인: 현업의 문제를 해결할 수 있는 고난도의 프롬프팅과 프롬프트 엔지니어링
4️⃣ 실습 자료
온라인: ChatGPT, Claude 콘솔창, Playground, 노코드 프롬프트 Testbed
오프라인: Playground, Colab, Prompt Testbed (여러 LLM api 사용)
See more...
1 Reaction
2 Comment
Reaction
Comment
Share
안녕하세요.
아래 글의 길이에 대한 문의를 주신 분이 계셨는데요.
'ooo-word-long'으로 효과를 봤다고 답변을 다신 것을 보고 인상이 깊었습니다. 저는 클로드를 주로 사용하고 있는데요.
궁금한 점이 2가지가 있습니다.
1.
AI모델에 따라 같은 프롬프트라도 다르게 반응할 수 있나요?
2.
클로드에서 'ooo-word-long'를 사용하니 전혀 효과가 없었습니다. 또한 박사님께서 말씀 주신 샘플 데이터를 넣어도 결과값이 들쭉날쭉합니다. 출력물의 길이를 일정하게 나오게 하는 방법은 추가로 없을까요?
1 Reaction
1 Comment
Reaction
Comment
Share
안녕하세요, 박사님.
아직 강의를 전부 보지는 못했지만, 막연히 이해하던 생성 AI의 원리를 하나씩 알아가면서 즐거운 시간을 보내고 있습니다.
한 가지 궁금한 것이 있는데, 혹시 노하우를 가지고 계신지 궁금합니다.
AI가 답변할 문장 길이를 대략적으로나마 제한해줄 수 있는지가 궁금합니다.
*여기서 '길이'라 함은 byte를 뜻하는 것이고, 문자의 유형에 따라 아래와 같이 계산합니다.
1) 한글: 3바이트/1문자
2) 영어: 1바이트
3) 띄어쓰기: 1바이트
4) 문장부호 및 특수문자: 1바이트
프롬프트에 위와 같은 조건을 입력하여도 그 출력값이 너무 천차만별인듯합니다.
See more...
11 Comment
Reaction
Comment
Share
대표님 안녕하세요?
실습시 prompt playground 관련 질문이 있는데요.
노션에 있는 Prompt Testbed는 아래와 같은 이유로 현재 회원가입이 안되어 사용을 할 수 없고, openAI Platform은 결제가 필요한데, 추천해주실 다른 무료 playground가 있을까요?
현재 Prompt Testbed가 회원가입이 불가능한 이유 :
Prompt Testbed's membership registration is currently unavailable due to technical issues related to a major platform update. The update has introduced new features and integrations that have caused temporary disruptions in the registration process. The team is actively working to resolve these issues, but no specific timeline has been provided for when registration will be restored. It's recommended to keep an eye on official communications from Prompt Testbed for the latest updates.
노션에 있는 Prompt Testbed는 아래와 같은 이유로 현재 회원가입이 안되어 사용을 할 수 없고, openAI Platform은 결제가 필요한데, 추천해주실 다른 무료 playground가 있을까요?
현재 Prompt Testbed가 회원가입이 불가능한 이유 :
Prompt Testbed's membership registration is currently unavailable due to technical issues related to a major platform update. The update has introduced new features and integrations that have caused temporary disruptions in the registration process. The team is actively working to resolve these issues, but no specific timeline has been provided for when registration will be restored. It's recommended to keep an eye on official communications from Prompt Testbed for the latest updates.
2 Comment
Reaction
Comment
Share
Share
푸
푸드인피니티
안녕하세요.
아래 글의 길이에 대한 문의를 주신 분이 계셨는데요.
'ooo-word-long'으로 효과를 봤다고 답변을 다신 것을 보고 인상이 깊었습니다. 저는 클로드를 주로 사용하고 있는데요.
궁금한 점이 2가지가 있습니다.
1.
AI모델에 따라 같은 프롬프트라도 다르게 반응할 수 있나요?
2.
클로드에서 'ooo-word-long'를 사용하니 전혀 효과가 없었습니다. 또한 박사님께서 말씀 주신 샘플 데이터를 넣어도 결과값이 들쭉날쭉합니다. 출력물의 길이를 일정하게 나오게 하는 방법은 추가로 없을까요?
1
See latest comments
혹시 제가 말씀드린 미러링 글자수 같게하기는 어떻게 넣으셨는지, 스크린샷이나 추가 설명 남겨 놓아주시겠어요?