본 논문은 싱가포르 웹 아카이브에서 웹 아카이브 메타데이터 생성에 GPT-4를 활용하여 효율성과 비용 효과를 높이는 방법을 탐구한다. 112개의 WARC 파일을 데이터 감소 기법으로 처리하여 메타데이터 생성 비용을 99.9% 절감하였다. 프롬프트 엔지니어링을 통해 생성된 제목과 초록은 Levenshtein Distance, BERTScore, 그리고 인간 분류자의 평가(McNemar's test)를 통해 평가되었다. 결과적으로 상당한 비용 절감과 효율성 향상을 보였지만, 인간이 작성한 메타데이터의 질적 우수성이 확인되었다. LLM의 한계점으로 내용 부정확성, 환각, 번역 문제 등이 제기되었으며, LLM은 인간 분류자를 대체하기보다는 보완하는 역할을 해야 함을 시사한다. 향후 연구는 프롬프트 개선, 콘텐츠 필터링 개선, 소규모 모델을 이용한 개인정보 보호 문제 해결에 초점을 맞출 것이다. 본 연구는 LLM을 웹 아카이빙에 통합하는 데 기여하며, LLM의 현재 기능과 향후 개선 방향을 제시한다. 코드는 공개되어 있다.
