본 논문은 대규모 언어 모델(LLM)의 내부 지식을 수정하여 업데이트하는 지식 편집 방법의 생의학 분야 적용에 대한 최초의 종합적인 연구 결과를 제시합니다. 특히 생의학 지식의 긴 꼬리 분포(희귀하고 빈도가 낮은 정보가 흔한 현상)에 초점을 맞춰, 기존 지식 편집 방법의 효과를 조사했습니다. 연구 결과, 기존 편집 방법들이 긴 꼬리 생의학 지식에 대한 LLM의 성능을 향상시킬 수 있지만, 편집 후에도 고빈도 지식에 비해 긴 꼬리 지식에 대한 성능은 여전히 열악하다는 것을 밝혔습니다. 더 나아가 분석 결과, 긴 꼬리 생의학 지식에는 하나의 주어와 관계가 여러 개의 목적어와 연결되는 일대다 지식이 상당량 포함되어 있으며, 이러한 일대다 지식의 높은 비율이 LLM의 긴 꼬리 생의학 지식 이해도 향상에 대한 지식 편집의 효과를 제한한다는 것을 밝혀냈습니다. 따라서 이러한 성능 차이를 해소하기 위한 맞춤형 전략의 필요성을 강조합니다.
