Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

DeepDiveAI: Identifying AI Related Documents in Large Scale Literature Data

Created by
  • Haebom
Category
Empty

저자

Zhou Xiaochen, Liang Xingzhou, Zou Hui, Lu Yi, Qu Jingjing

개요

본 논문에서는 대규모 문헌 데이터베이스에서 AI 관련 문서를 자동으로 분류하는 방법을 제안하고, DeepDiveAI라는 AI 관련 문헌 데이터셋을 생성합니다. 두 단계의 전반적인 과정을 통해 전문가 지식과 고급 모델의 기능을 통합하여 데이터셋을 구축합니다. 1단계에서는 전문가가 큐레이션한 분류 데이터셋을 사용하여 LSTM 모델을 훈련하여 대규모 데이터셋에서 AI 관련 기록을 대략적으로 분류합니다. 2단계에서는 Qwen2.5 Plus를 사용하여 대략적으로 분류된 AI 관련 기록 중 무작위 10%에 주석을 달고, 이를 사용하여 BERT 이진 분류기를 훈련합니다. 이 단계를 통해 AI 관련 기록 집합을 더욱 정제하여 최종 DeepDiveAI 데이터셋을 얻습니다. 평가 결과, 전체 워크플로우는 대규모 데이터셋에서 AI 관련 문헌을 효율적이고 정확하게 식별할 수 있음을 보여줍니다.

시사점, 한계점

•
시사점:
◦
대규모 문헌 데이터베이스에서 AI 관련 문서를 효율적이고 정확하게 분류하는 새로운 방법 제시.
◦
전문가 지식과 고급 모델(LSTM, BERT, Qwen2.5 Plus)을 효과적으로 결합한 데이터셋 구축 전략 제시.
◦
DeepDiveAI라는 새로운 AI 관련 문헌 데이터셋 구축.
•
한계점:
◦
Qwen2.5 Plus를 이용한 주석 작업이 전체 데이터의 10%에만 적용되어, 전체 데이터셋의 정확도에 대한 일반화 가능성에 대한 추가 연구 필요.
◦
사용된 모델의 성능은 특정 데이터셋과 모델에 의존적일 수 있으므로, 다른 데이터셋이나 모델에 대한 일반화 가능성 검증 필요.
◦
전문가 큐레이션 데이터셋의 규모 및 품질에 따라 최종 결과의 정확도가 영향을 받을 수 있음.
👍
Made with Slashpage