Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

"I see models being a whole other thing": An Empirical Study of Pre-Trained Model Naming Conventions and A Tool for Enhancing Naming Consistency

Created by
  • Haebom

저자

Wenxin Jiang, Mingyu Kim, Chingwo Cheung, Heesoo Kim, George K. Thiruvathukal, James C. Davis

개요

본 논문은 Hugging Face PTM 레지스트리에서 사전 훈련된 모델(PTM)의 명명 관행에 대한 최초의 경험적 조사를 수행합니다. 108명의 Hugging Face 사용자를 대상으로 한 설문 조사 결과, 기존 소프트웨어 패키지 명명과의 차이점과 PTM 명명 관행에 대한 분석 결과를 제시합니다. 설문 조사 결과는 엔지니어의 선호도와 현재 PTM 명명 관행 간의 불일치를 보여줍니다. 이어서, PTM 명명 불일치를 감지하도록 설계된 최초의 자동화된 DNN 아키텍처 평가 기술인 DARA를 소개합니다. DARA는 아키텍처 정보만으로 모델 유형을 94%의 정확도로 식별하고, 다른 아키텍처 메타데이터에서도 70% 이상의 성능을 달성합니다. 또한 모델 검증, PTM 메타데이터 생성 및 검증, 표절 탐지와 같은 자동화된 명명 도구의 잠재적 사용 사례를 강조합니다. 본 연구는 명명 불일치 탐지를 자동화하기 위한 기반을 제공하며, 패키지 명명 표준화, 모델 선택 및 재사용 개선, PTM 공급망 보안 강화를 위한 자동화 도구에 대한 미래 연구를 제시합니다.

시사점, 한계점

시사점:
PTM 명명 관행에 대한 최초의 경험적 연구를 수행하여 엔지니어의 선호도와 현황 간의 불일치를 밝힘.
PTM 명명 불일치를 자동으로 감지하는 DARA라는 기술을 개발하여 높은 정확도를 달성함.
모델 검증, 메타데이터 생성 및 검증, 표절 탐지 등 다양한 분야에서 자동화된 명명 도구의 활용 가능성을 제시함.
PTM 공급망 보안 강화를 위한 기반을 마련함.
한계점:
연구 대상이 Hugging Face PTM 레지스트리로 제한됨. 다른 PTM 레지스트리 또는 저장소에 대한 일반화 가능성은 추가 연구가 필요함.
DARA의 성능은 아키텍처 정보에 의존하므로, 아키텍처 정보가 부족하거나 부정확한 경우 성능이 저하될 수 있음.
자동화된 명명 표준화 도구의 개발 및 구현은 추가적인 연구가 필요함.
👍