본 논문은 일본어 의료 질의응답(QA)에 대한 소규모 오픈소스 대규모 언어 모델(LLM)을 위한 지식 그래프 기반 검색 증강 생성(RAG) 프레임워크를 최초로 탐구한다. 개인정보 보호 문제로 인해 GPT-4와 같은 상용 모델을 임상 환경에서 사용할 수 없어 일본어 환경에서의 LLM 성능이 제한적이라는 점을 고려하여, 오픈소스 LLM을 instruction-tuning하는 최근 연구 동향을 바탕으로 RAG와의 결합 가능성을 조사한다. 실험 결과, 소규모 오픈소스 LLM을 이용한 일본어 의료 QA에서 지식 그래프 기반 RAG의 영향은 제한적임을 보였다. 추가적인 사례 연구를 통해 RAG의 효과는 외부에서 검색된 콘텐츠의 질과 관련성에 민감하게 반응함을 밝혔다. 이러한 결과는 일본어 의료 QA에 RAG를 적용하는 데 있어 어려움과 잠재력에 대한 귀중한 통찰력을 제공하며, 자원이 부족한 다른 언어에도 참고 자료로 활용될 수 있다.