활성 프롬프트: 다양한 예제로 성능 높이기

Sat, 02 Dec 2023 06:30:16 GMT

![Image](https://upload.cafenono.com/image/slashpageHome/20231204/230337_3KwnGgojC5xOjjmw76?q=75&s=1280x180&t=outside&f=webp)

Active-Prompt는 기존의 CoT 방식에 비해 몇 가지 중요한 차이점이 있습니다. 기존의 CoT 방식은 고정된 사람이 주석을 단 예시들에 의존하지만, Active-Prompt는 다양한 작업에 대해 특정한 예시 프롬프트를 동적으로 적용합니다​​. Active-Prompt 방식은 다음과 같은 절차를 따릅니다:

1. 불확실성 평가(Uncertainty Estimation): 대규모 언어 모델(LLM)을 이용하여 특정 작업에 대한 질문을 여러 번 반복하여 여러 가능한 답변을 생성한 후, 불확실성 지표를 사용하여 각 질문의 불확실성을 계산합니다. 사용되는 불확실성 지표는 일치하지 않는 답변의 수, 엔트로피, 분산 등이 있습니다​​.

2. 선택(Selection): 계산된 불확실성을 기준으로 가장 불확실한 질문들을 주석을 위해 선택합니다​​.

3. 주석(Annotation): 선택된 질문들에 대해 인간 주석자가 추론 과정과 답변을 제공하여 새로운 예시를 만듭니다​​.

4. 추론(Inference): 새로 주석된 예시들을 사용하여 각 질문에 대한 추론을 수행하고, 가장 일관된 답변을 선택합니다​​.

Active Prompting with Chain-of-Thought for Large Language Models.pdf

이 과정은 기존의 CoT 방식이 사람의 주석에 의존하는 고정된 예시 세트에 기반한 것과 대조적으로, Active-Prompt는 불확실성을 측정하여 가장 유익한 질문을 동적으로 선택하고 주석하여 LLM의 성능을 극대화합니다. 이는 특히 복잡한 추론 작업에 적합한 방식으로, 다양한 작업에 대해 모델의 적응성과 정확성을 향상시키는 것으로 나타났습니다​.

```
"영희가 장거리 하이킹을 위해 백팩을 싸고 있는데, 그녀는 무엇을 가져가야 할까요?"
```

언어 모델은 이 질문에 대해 여러 추론 경로와 답변을 생성합니다. 예를 들어, 하이킹에 필요한 물품 리스트를 생성하거나, 특정 상황에 필요한 장비를 추천할 수 있습니다. 생성된 여러 답변 중 불확실성이 높은 것을 선택하여 사람이 추론 과정과 함께 주석을 달아 정제합니다.

```
"철수가 10층짜리 호텔에서 방을 예약했습니다. 각 층에는 동일한 방이 10개씩 있는데, 모든 방을 사용할 수 있을까요?"
```

언어 모델은 이 질문에 대해 여러 답변을 생성하며, 그 중에서 가장 불확실한 답변을 선별합니다. 예를 들어, 모델이 "마지막 층은 사용할 수 없으므로 사용 가능한 방은 총 90개입니다."라고 답변할 수 있습니다.

Active-Prompt 방식의 핵심은 **언어 모델이 생성한 여러 답변 중에서 가장 불확실한 것을 찾아내고, 이를 사람이 주석으로 보강하여 보다 정확하고 신뢰할 수 있는 결과를 얻어내는 방법**입니다.

[https://slashpage.com/haebom/j4z7pvx2kre4ymek8653](https://slashpage.com/haebom/j4z7pvx2kre4ymek8653)

[https://slashpage.com/haebom/k5r398nmnnx8emvwje7y](https://slashpage.com/haebom/k5r398nmnnx8emvwje7y)

![Image](https://upload.cafenono.com/image/slashpageHome/20231202/232552_y4KV1o5w3LD4czuKMg?q=75&s=1280x180&t=outside&f=webp)

ⓒ 2023. Haebom, all rights reserved.

`출처 표시를 하고, 저작권자 허락 하에 영리적 목적으로 쓰일 수 있습니다.`