Share
Sign In
효과적인 프롬프트를 위한 LLM 설정 이해하기
LLM(대규모 언어 모델)으로 작업할 때 특정 설정을 조정하면 응답이 크게 달라질 수 있습니다. 다음은 이러한 설정에 대한 분석과 이를 효과적으로 사용하는 방법입니다. 처음에는 왜 온도가 나오고 시퀀스가 뭐고 어렵긴 한데 그냥 용어라고 생각해주시면 됩니다. chatGPT를 사용하면 입력창만 존재해 어떤 식으로 작동하는지 이해하기 어렵지만 Playground에 가면 어떤 형태로 GPT-3.5 등이 설정 되어있는지 이해할 수 있습니다.
1.
Temperature: 결정론과 창의성의 균형 맞추기
설명 : Temperature는 모델의 예측 가능성을 제어하는 다이얼이라고 생각하면 됩니다. Temperature 가 낮을수록 더 예측 가능하고 일관된 응답을 얻을 수 있습니다. Temperature 가 높을수록 더 많은 창의성과 변수가 허용됩니다.
실제 사용:
구체적인 질문과 같은 사실적인 질문의 경우, 간결하고 정확한 답변을 위한다면 낮은 Temperature값을 사용하세요.
시와 같은 창의적인 과제의 경우, Temperature값을 높이면 보다 상상력이 풍부한 답변을 유도할 수 있습니다.
구체적인 질문과 같은 사실적인 질문의 경우, 간결하고 정확한 답변을 위한다면 낮은 Temperature값을 사용하세요.
시와 같은 창의적인 과제의 경우, Temperature값을 높이면 보다 상상력이 풍부한 답변을 유도할 수 있습니다.
2.
Top_p(Nucleus Sampling): 응답 가변성 미세 조정하기
설명 : Top_p는 온도와 함께 반응의 변동성을 관리하는 데 사용됩니다. Top_p가 낮을수록 응답의 정확도는 높아지지만 응답의 다양성은 낮아집니다. top_p가 높을수록 다양한 출력을 유도합니다.
사례 :
답변의 정확도를 높이려면 top_p를 낮게 유지하세요.
다양한 아이디어나 스타일을 탐색하려면 top_p를 높이세요.
top_k도 있으나 일반적으로 0으로 설정하고 건드리지 않습니다. (이유가 궁금하시면 GPT-2 논문을... 읽어보진 마시고 네이버 클로바 팀에서 잘 설명한 문서가 있습니다. - 링크)
3.
Max Length: 응답 길이 조절하기
설명 : '최대 길이'를 조정하여 응답 길이에 대한 제한을 설정합니다. 이렇게 하면 지나치게 길거나 주제에서 벗어난 답변을 방지하는 데 도움이 됩니다. 특정 토큰 수를 설정하여 응답을 간결하고 비용 효율적으로 유지합니다.
4.
Stop Sequences: 엔드포인트 정의
설명 : 텍스트 생성을 중단할 시점을 모델에 알려주는 특정 문자열입니다.
사례 : 목록을 10개 항목으로 제한하려면 중지 시퀀스로 "11"을 추가합니다.
5.
Frequency Penalty: 빈도 페널티
설명 : 이 설정은 모델이 동일한 단어나 구를 반복하지 못하도록 합니다.
사례 : 빈도 페널티를 높이면 모델의 언어에 다양성을 더하고 중복성을 줄일 수 있습니다.
6.
Presence Penalty: 존재 패널티
사용 방법: 얼마나 자주 나타나는지에 관계없이 반복되는 모든 토큰에 동일하게 페널티를 부과해 다양한 답변이 나오도록 합니다.
설정 조정:
더 다양하고 창의적인 텍스트를 원하면 증가시킵니다.
더 집중된 콘텐츠를 원하면 낮춥니다.
참고! 일반적으로 명확한 결과를 얻으려면 Temperature 또는 top_p, Frequency, Presence 페널티 중 하나만 조정하고 다른 것은 조정하지 않는 것이 좋습니다.
모델 버전에 따른 가변성
사용 중인 LLM 버전과 모델에 따라 결과가 달라질 수 있다는 점을 명심하세요. 항상 실험을 통해 특정 요구 사항에 가장 적합한 설정을 찾는 것이 좋습니다.
사용 중인 LLM 버전과 모델에 따라 결과가 달라질 수 있다는 점을 명심하세요. 항상 실험을 통해 특정 요구 사항에 가장 적합한 설정을 찾는 것이 좋습니다.
ⓒ 2023. Haebom, all rights reserved.
출처 표시를 하고, 저작권자 허락 하에 영리적 목적으로 쓰일 수 있습니다.
