Do Small Models Use the Law You Give Them? Context-Injected Fine-Tuning for Legal QA in Bangladesh
작성자
카테고리
Empty
저자
Moniruzzaman Mahadi, Abrar Mohammed Tanzim Alam, Sayma Siddika Monalisa, Mir Mohammad Asif Abdullah, Swakkhar Shatabda, Md Adnan Arefeen
💡 개요
본 연구는 소형 언어 모델이 제공된 법률 조항을 제대로 활용하지 못하는 문제를 해결하기 위해, 관련 법률이 포함된 예시 데이터로 미세 조정을 수행하여 검색된 법률을 더 잘 활용하는지 테스트합니다. 방글라데시 법률 관련 2,165개의 양방향 질의응답 데이터를 구축하여 Qwen 3.5 모델(0.8B, 2B, 4B)을 미세 조정했으며, 그 결과 미세 조정이 소형 모델의 법률 이해 및 활용 능력을 크게 향상시키고 언어 전환 문제를 개선함을 입증했습니다.
🔑 시사점 및 한계
•
소형 언어 모델도 미세 조정을 통해 제공된 법률 정보를 효과적으로 활용하고 답변의 정확성을 높일 수 있습니다.
•
미세 조정은 모델이 답변 생성 시 특정 언어를 유지하도록 돕는 데 중요한 역할을 합니다.
•
4B 모델에서는 오히려 성능 저하가 나타나는 등, 모델 규모에 따른 미세 조정의 효과 차이가 존재하며, 이는 언어 간 전환 문제 외에도 다른 병목 현상이 존재함을 시사합니다.
