데이터 수집 자체는 코드로 구현할 수 있고 브리프 형식도 정해져 있다면 로컬 모델로도 어느 정도 대체할 수 있지 않을까?
바로 테스트를 진행해보기로 했다.
작년에 AI공부한다고 거금을 들여 데스크탑을 마련했다.
RTX5070에 램32기가의 사양이라면 어느정도 작은 모델을 돌려볼 수 있지 않을까?
바로 '레오'에게 물어봤다.
뉴스 브리프 만들 때 LLM 모델이 쓰였어? 확인해서 이를 로컬 모델로 대체할 수 있을지 알고 싶어
레오는 대답뿐 아니라 내 컴퓨터에 Ollama와 gemma4 소형 모델이 있는 걸 확인하고 API 응답 테스트 후 샘플까지 생성해서 기존 결과물과 비교까지 한 번에 수행해줬다.
레오가 정리해준 테스트 결과이다.
방금 로컬 모델이 만든 테스트 결과 성격
•
가능 여부: 확인됨
•
품질: 짧은 경계형 브리프는 충분
•
한계: 현재 gpt-5.4보다
◦
구조화 정확도
◦
미묘한 확률 판단
◦
신호 강도 구분
◦
문장 압축도
에서 다소 약할 가능성이 높습니다
그리고 프롬프팅 튜닝하고 추가 테스트를 해보겠냐고 물어보기까지 했다.
진짜 쓸 수록 엄청나다.
필요한 작업 몇 단계를 한 번에 수행해서 결과를 공유하는 것에서 나아가
다음 스텝을 본인이 제시해주기까지.
이제 진짜 "어떤 문제를 풀 것인가"를 정의하는 역할만 남은 걸까?
Ti
Subscribe to 'TIMETOBE's site'
Subscribe to my site to be the first to receive notifications and emails about the latest updates, including new posts.
Join Slashpage and subscribe to 'TIMETOBE's site'!