대규모 언어 모델(LLM)은 텍스트 요약에서 인상적인 성능을 보이지만, 사전 학습 분포와 다른 전문 분야에 적용될 때 성능이 저하되는 경향이 있다. 파인 튜닝은 요약 품질을 향상시킬 수 있지만, 고품질의 레이블된 데이터가 필요하다. 본 연구에서는 잡음이 있는 실제 대화 내용을 포함하는 다운스트림 요약 작업에 LLM을 적응시키기 위해 확장 가능하고 자기 지도 학습 방식인 지속적인 사전 학습을 탐구한다. 대규모의 레이블되지 않은 비즈니스 대화 데이터를 사용하여 지속적인 사전 학습이 대화 요약에서 모델의 능력을 향상시키는지에 대한 광범위한 실험을 수행했다. 그 결과, 지속적인 사전 학습이 in-domain 및 out-of-domain 요약 벤치마크 모두에서 상당한 이점을 얻었으며, 강력한 일반화 및 견고성을 유지함을 확인했다. 또한 데이터 선택 전략의 효과를 분석하여 요약 중심의 산업 응용 분야에서 지속적인 사전 학습을 적용하기 위한 실질적인 지침을 제공한다.
