본 논문은 대규모 언어 모델(LLM)을 이용한 생성적 정보 추출에서, 특히 소수 샷 학습을 통해 성능 향상을 도모하는 연구이다. 기존의 사람이 작성하는 어노테이션 가이드라인과 유사한 상세하고 사람이 읽기 쉬운 가이드라인을 제공하는 것이 성능 향상에 크게 기여한다는 점에 착안하여, 인력과 지식이 많이 필요하고 과업 특수적인 한계를 지닌 기존 가이드라인 작성 방식의 문제점을 해결하고자 한다. 본 연구는 LLM의 지식 요약 및 텍스트 생성 능력을 활용하여, 인간의 개입을 최소화하면서 어노테이션 가이드라인을 자동으로 생성하는 자기 개선 방식을 제안한다. 2012 i2b2 EVENT, 2012 i2b2 TIMEX, 2014 i2b2, 2018 n2c2 등의 임상 명명된 개체 인식 벤치마크에서 가이드라인이 없는 기준선 대비 각각 25.86%, 4.36%, 0.20%, 7.75%의 strict F1 점수 향상을 달성했으며, 대부분의 과제에서 사람이 작성한 가이드라인과 비교하여 동등하거나 1.15%~4.14% 더 나은 성능을 보였다. 결론적으로, 본 연구는 최소한의 지식과 인간의 개입으로 다양한 생물 의학 분야에 적용 가능한 새로운 LLM 자기 개선 방법을 제시한다.
