시작하기
학습가이드
Subscribe
9️⃣

AI 고급 설정 가이드: 모델, 프롬프트, 파라미터까지 내 챗봇에 딱 맞게 설정하기

벨루가는 다양한 AI 모델과 세밀한 설정을 지원합니다
벨루가의 채널 고급 설정에서는 AI 챗봇의 성격, 말투, 응답 범위 등을
모델 선택부터 시스템 프롬프트, 생성 파라미터까지 직접 조정할 수 있습니다.
이 문서에서는 AI 모델 설명, 주요 설정 항목, 프롬프트 작성법, 변수 활용법까지 안내합니다.

선택 가능한 AI 모델 목록 및 특징

모델명
GPT-4o mini
특징
응답속도
품질
비용(v-크레딧)
GPT-4.5 / GPT-4.1
OpenAI 최신 고정밀 모델
중~느림
매우 높음
높음
GPT-4.1 mini / nano
경량 고속 모델
빠름
중간
낮음
GPT-4o mini
균형 잡힌 성능과 속도
빠름
중간
낮음
Claude 3.7 Sonnet
정돈된 문장, 긴 응답에 강함
중간
높음
중간
Claude 3.5 Haiku
짧고 정확한 응답, 빠른 속도
매우 빠름
중간
낮음
Gemini 2.5 Pro (Preview)
최신 고성능 Google 모델
중간
높음
중간
Gemini 2.0 / 1.5 Flash
빠른 응답
매우 빠름
중간
낮음
o1 / o1 mini / o3 mini (high/medium/low)
초경량 실험 모델
매우 빠름
높음
중간~높음
⚠️ 모델에 따라 토큰 단가(V-크레딧)가 다르며,
고성능 모델일수록 더 많은 비용이 발생합니다.

생성 파라미터 설명

항목
설명
권장값
Maximum Length
한 번에 생성 가능한 최대 토큰 수
512~2048
Temperature
창의성 조절 (높을수록 다양성↑, 정확도↓)
0.2~0.7
Top P
확률 누적 기반 단어 선택 범위
0.7~1.0
Frequency Penalty
같은 단어 반복 억제
0.0~1.0
Presence Penalty
같은 주제 반복 억제
0.0~1.0
Top K
검색된 문서 조각 수 (RAG에서 사용됨)
기본 3~4
이전 메시지 기억
대화 맥락 유지 여부
필요 시 활성화 (비용↑)
🔍 Top K를 늘리면 더 많은 정보를 참고하지만,
사용되는 토큰 수가 증가해 V-크레딧 소모량이 커질 수 있습니다.

시스템 프롬프트란?

시스템 프롬프트는 AI에게 “당신은 어떤 역할을 맡고 있으며, 어떻게 대답해야 하는가”를 알려주는 초기 지침입니다.
AI의 말투, 태도, 답변 방식에 큰 영향을 미칩니다.

✍️ 시스템 프롬프트 작성 팁 (RAG 환경 기준)

벨루가는 문서를 검색해서 답변하는 RAG 구조입니다.
따라서 다음 항목을 시스템 프롬프트에 포함해 주세요.

✅ 기본 포함 요소

문서 기반 응답만 허용
문서에 없으면 “답변할 수 없음”으로 처리
사용자 친화적 말투 설정
너무 장황하지 않은 응답 스타일

✅ 예시

📁
당신은 업로드된 문서를 기반으로 질문에 답변하는 AI 챗봇입니다.
항상 문서 검색 결과를 바탕으로 정확하게 답변해주세요.
문서에 없는 정보는 절대 추측하지 말고,
“해당 정보는 문서에서 확인되지 않았습니다.”라고 안내해주세요.
모든 답변은 간결하고 정중한 말투로 작성해주세요.

변수 활용하기

벨루가 시스템 프롬프트에는 아래 변수를 사용할 수 있습니다:
변수명
설명
필수 여부
{query}
사용자의 질문 원문
✅ 필수
{document_text}
검색된 문서 조각
✅ 필수
{today}
현재 날짜 (YYYY-MM-DD 형식)
선택

🧩 예시 프롬프트 (변수 포함)

📁
오늘 날짜는 {today}입니다.
아래 문서 정보를 참고하여, 사용자 질문({query})에 대해 답변해주세요.
문서 정보: {document_text}
문서 외 정보는 답변하지 마세요.
답변은 항상 정중하게, 최대 3문장 이내로 작성해주세요.
⚠️ {query}와 {document_text}는 벨루가 RAG 파이프라인에서 반드시 포함되어야 하는 필수 값입니다.

✅ 요약

다양한 모델 중 채널 목적, 성능, 비용에 따라 모델을 선택할 수 있어요.
시스템 프롬프트는 답변 방식, 말투, 문서 기반 원칙을 명확히 지정하는 지침입니다.
{query}, {document_text} 등의 변수를 사용해 동적인 프롬프트 작성이 가능합니다.
생성 파라미터를 조정하면 응답의 창의성, 반복성, 길이 등 다양한 품질 요소를 제어할 수 있어요