Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Delving into LLM-assisted writing in biomedical publications through excess vocabulary

Created by
  • Haebom

저자

Dmitry Kobak, Rita Gonzalez-Marquez, Em\H{o}ke-Agnes Horvat, Jan Lause

개요

본 논문은 PubMed에 색인된 2010년부터 2024년까지 1500만 건 이상의 생의학 초록을 분석하여, ChatGPT와 같은 대규모 언어 모델(LLM)의 사용이 학술 저술에 미치는 영향을 조사한 연구입니다. 특히 어휘 변화를 분석하여 LLM 사용으로 인한 특정 스타일 단어의 빈도 급증을 확인하고, 이를 통해 2024년 생의학 초록 중 최소 13.5%가 LLM을 사용하여 작성되었을 것으로 추정합니다. 이러한 LLM의 영향은 분야, 국가, 저널별로 차이가 있으며, 일부 하위 집단에서는 40%에 달하는 것으로 나타났습니다. 연구 결과는 LLM이 코로나19 팬데믹과 같은 주요 세계적 사건보다 생의학 연구의 과학적 저술에 더 큰 영향을 미쳤음을 시사합니다.

시사점, 한계점

시사점:
LLM이 생의학 연구의 학술 저술에 광범위하게 사용되고 있음을 정량적으로 밝힘.
LLM 사용률이 분야, 국가, 저널별로 다르게 나타남을 제시함.
LLM의 영향이 주요 세계적 사건보다 더 큼을 보여줌.
LLM 사용 추정치를 제공하여 학계의 LLM 사용 현황 파악에 기여함.
한계점:
분석 대상이 생의학 분야에 국한됨.
LLM 사용률 추정치는 하한선이며 실제 사용률은 더 높을 수 있음.
어휘 변화 분석에 기반한 추정 방식의 한계 존재 (다른 요인에 의한 어휘 변화 가능성).
LLM 사용의 질적 측면(정확성, 편향 등)에 대한 분석이 부족함.
👍