# 효과적인 프롬프트를 위한 LLM 설정 이해하기

LLM(대규모 언어 모델)으로 작업할 때 특정 설정을 조정하면 응답이 크게 달라질 수 있습니다. 다음은 이러한 설정에 대한 분석과 이를 효과적으로 사용하는 방법입니다. 처음에는 왜 온도가 나오고 시퀀스가 뭐고 어렵긴 한데 그냥 용어라고 생각해주시면 됩니다. chatGPT를 사용하면 입력창만 존재해 어떤 식으로 작동하는지 이해하기 어렵지만 Playground에 가면 어떤 형태로 GPT-3.5 등이 설정 되어있는지 이해할 수 있습니다.

[platform.openai.com/playground](https://platform.openai.com/playground) 

![Image](https://upload.cafenono.com/image/slashpageHome/20231202/234418_SC7tGSqjKQ3VHc85xy?q=75&s=1280x180&t=outside&f=webp)

1. **Temperature: 결정론과 창의성의 균형 맞추기**

설명 : Temperature는 모델의 예측 가능성을 제어하는 다이얼이라고 생각하면 됩니다.** Temperature 가 낮을수록 더 예측 가능하고 일관된 응답을 얻을 수 있습니다. Temperature 가 높을수록 더 많은 창의성과 변수가 허용**됩니다.

실제 사용:
구체적인 질문과 같은 사실적인 질문의 경우, **간결하고 정확한 답변을 위한다면 낮은 **Temperature값을 사용하세요.
시와 같은 **창의적인 과제의 경우, Temperature값을 높이면 보다 상상력이 풍부한 답변을 유도**할 수 있습니다.

2. **Top_p(Nucleus Sampling): 응답 가변성 미세 조정하기**

설명 : Top_p는 온도와 함께 반응의 변동성을 관리하는 데 사용됩니다. **Top_p가 낮을수록 응답의 정확도는 높아지지만 응답의 다양성은 낮아집니다. top_p가 높을수록 다양한 출력을 유도**합니다.

사례 :

- 답변의 정확도를 높이려면 top_p를 낮게 유지하세요.

- 다양한 아이디어나 스타일을 탐색하려면 top_p를 높이세요.

- top_k도 있으나 일반적으로 0으로 설정하고 건드리지 않습니다. (이유가 궁금하시면 GPT-2 논문을... 읽어보진 마시고 네이버 클로바 팀에서 잘 설명한 문서가 있습니다. - [링크](https://guide.ncloud-docs.com/docs/clovastudio-info))

3. **Max Length: 응답 길이 조절하기**

설명 : '최대 길이'를 조정하여 응답 길이에 대한 제한을 설정합니다. 이렇게 하면 지나치게 길거나 주제에서 벗어난 답변을 방지하는 데 도움이 됩니다. 특정 토큰 수를 설정하여 응답을 간결하고 비용 효율적으로 유지합니다.

4. **Stop Sequences: 엔드포인트 정의**

설명 : 텍스트 생성을 중단할 시점을 모델에 알려주는 특정 문자열입니다.

사례 : 목록을 10개 항목으로 제한하려면 중지 시퀀스로 "11"을 추가합니다.

5. **Frequency Penalty: 빈도 페널티**

설명 : 이 설정은 모델이 동일한 단어나 구를 반복하지 못하도록 합니다.

사례 : 빈도 페널티를 높이면 모델의 언어에 다양성을 더하고 중복성을 줄일 수 있습니다.

6. **Presence Penalty: 존재 패널티**

사용 방법: 얼마나 자주 나타나는지에 관계없이 반복되는 모든 토큰에 동일하게 페널티를 부과해 다양한 답변이 나오도록 합니다.

설정 조정:

- 더 다양하고 창의적인 텍스트를 원하면 증가시킵니다.

- 더 집중된 콘텐츠를 원하면 낮춥니다.

> **참고! 일반적으로 명확한 결과를 얻으려면 Temperature 또는 top_p, Frequency, Presence 페널티 중 하나만 조정하고 다른 것은 조정하지 않는 것이 좋습니다. **

> **모델 버전에 따른 가변성**
**사용 중인 LLM 버전과 모델에 따라 결과가 달라질 수 있다는 점을 명심하세요.** 항상 실험을 통해 특정 요구 사항에 가장 적합한 설정을 찾는 것이 좋습니다.

[https://slashpage.com/haebom/z91kwev269818my46jpg](https://slashpage.com/haebom/z91kwev269818my46jpg)

[https://slashpage.com/haebom/d7916x82rynv1m4kpyg3](https://slashpage.com/haebom/d7916x82rynv1m4kpyg3)

![Image](https://upload.cafenono.com/image/slashpageHome/20231202/232552_y4KV1o5w3LD4czuKMg?q=75&s=1280x180&t=outside&f=webp)

ⓒ 2023. Haebom, all rights reserved.

`출처 표시를 하고, 저작권자 허락 하에 영리적 목적으로 쓰일 수 있습니다.`

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).