Share
Sign In
Ollama를 통한 호출 익히기
본인의 컴퓨터에서 직접 ChatGPT와 같은 언어 모델을 사용해볼 수 있습니다. 무료이며, 자신의 컴퓨터 자원을 활용하여 모델을 사용할 수 있습니다.
글 작성일 기준 실습하며 사용해보면 좋을 모델을 아래에 모아두었습니다.
본인 컴퓨터가 나쁘지 않은 사양일 경우
llama3.1:8b
gemma2:9b
qwen2:8b
본인 컴퓨터 혹은 colab을 사용 중인 경우
gemma2:2b
위의 홈페이지를 통해 Ollama를 다운로드 할 수 있습니다. 각자 방법에 맞게 ollama를 설치, 실행해주시면 됩니다.
본인이 윈도우 사용자일 경우 colab에서 아래의 커멘드를 통해 사용해주세요 (linux)
# Ollama 설치
!curl -fsSL https://ollama.com/install.sh | sh
# Ollama 실행
!nohup ollama serve & 모델 다운로드 하기
0.
Colab으로 할 경우, 실행이 느릴 수 있음으로 CPU가 아닌 GPU에서 실행하도록 변경합니다.
1.
Colab 혹은 Mac 터미널에서 아래의 내용을 실행하면 gemma2:2b 모델이 다운로드 됩니다. 맥 터미널에서 하는 경우 !를 없애주시면 됩니다.
!ollama pull gemma2:2b2.
ollama에서 모델을 잘 가지고 있는지 확인해볼까요?
!ollama list
그림과 같이 나오면 성공적으로 다운로드가 완료된 것입니다. 이후 Ollama의 모델을 코드레벨에서 사용할 경우, colab 혹은 터미널에서 이 과정까지 완료해주셔야 합니다.
3.
Ollama로 gemma2:2b와 소통할 수 있습니다. Python에서 ollama를 사용하기 위해 패키지를 설치해줍니다.
!pip install ollamacolab에서도 gemma2:2b는 매우 가벼운 모델이기 때문에 실행이 가능합니다.
모델 사용해보기 (Python)
1.
아래의 코드를 통해 오픈소스 언어모델인 gemma를 사용해볼 수 있습니다.
import ollama
response = ollama.chat(model='gemma2:2b', messages=[
{"role": "system", "content": "You always put ^^ end of text"},
{"role": "user", "content": "Hello?"},
{"role": "assistant", "content": "Hi^^"},
{"role": "user", "content": "What is your name?"},
])
print(response['message']['content'])사용해보며 느끼셨겠지만, 저희가 원하는 결과를 얻기 어렵습니다. 오픈소스 모델은 실제 생성결과가 그럴듯하나, 서비스에서 사용하기 위해서 저희가 원하는 명령을 이해해야하는데, 이런 능력이 다소 떨어집니다.