조
조진우Jeanu
Category
Empty
안녕하세요.
아직 수강을 시작하진 않았는데, 업무 중에 궁금한게 있어서 질문드립니다!
CoT 기법을 사용한 프롬프트에 대해서
LLM에게 "어떠한 순서와 방식으로 생각을 해라" 라는 지침을 자세하게 주었을 때
이 생각 과정을 실제로 출력하면서 응답 하는것과(예시 : <think> </think> 사이에 생각 과정을 넣어라)
와 생각 과정을 제외한 응답만 출력하게 하는 것과 성능 차이가 있을까요??
강의도 기대가 많이 됩니다..!
3
Sujin_Kang
안녕하세요!
CoT 기법 사용을 하더라도 여러 변수에 따라 성능 차이가 크게 납니다.
1.
CoT 프롬프트를 어떻게 작성했는지 ,
2.
어떤 모델(reasoning-non reasoning) 에 CoT 기법을 쓰셨는지 ,
3.
어떤 task 인지
여러 고려해야 하는 요소가 있고요,
<think> </think> 는 모델의 생각 과정을 태그안에 넣는 것으로 이 것은 추론관련한 성능보다는, 프롬프트 내 답변 출력 형식의 구조를 분리하는 것과 더 연관되어 있습니다 ^^
•
강의 수강 감사드립니다!
조
조진우Jeanu
답변 감사드립니다.
우선 gemma-3-27b-it 모델이라, non reasoning 모델 입니다.
그런데 제가 너무 추상적으로 질문을 드렸네요..
질문은 제가 좀 더 공부하고 의문이 명확해지면 다시 드리겠습니다.
감사합니다~!
Sujin_Kang
아하, 젬마이군요. 이 모델은 말씀하신대로 <think> xml 태그 혹은, 프롬프트의 구조를 명확하게 잡았을 떄의 결과가 더 좋을 거예요. CoT 의 문장은 생각보다 잘 먹지 않음을 경험했습니다.
See latest comments