Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Reducing research bureaucracy in UK higher education: Can generative AI assist with the internal evaluation of quality?

Created by
  • Haebom
Category
Empty

저자

Gordon Fletcher, Saomai Vu Khan, Aldus Greenhill Fletcher

개요

이 논문은 영국의 고등 교육 연구 품질 평가, 특히 연구 우수성 프레임워크(REF) 준비에 있어 생성형 인공지능(GenAI)이 내부 검토 과정을 지원할 수 있는 가능성을 탐구한다. Viable Systems Model의 기능 대체 관점을 사용하여, ChatGPT를 활용하여 REF 2021 제출된 경영 및 관리 논문을 평가하고 순위를 매기는 실험적 방법론을 제시한다. AI 생성 점수와 알려진 기관 결과를 비교하여 평가를 "역설계"했다. 11개 기관의 822개 논문에 대한 엄격한 테스트를 통해, 1와 2 사이에서 49%, 2와 3 사이에서 59%, 3와 4 사이에서 69%의 보고된 REF 결과와 일치하는 채점 경계를 설정했다.

시사점, 한계점

AI는 추가적인 인간의 검토가 필요한 경계선상의 평가 사례를 식별하는 데 도움이 되는 일관된 평가를 제공할 수 있다.
전통적인 내부 검토 과정의 상당한 자원 부담을 줄일 수 있다.
AI 편향 가능성을 포함한 한계가 존재한다.
연구 평가 관료주의와 관련된 수백만 파운드의 비용을 해결하면서 학문적 무결성을 유지하는 미묘한 하이브리드 접근 방식의 적용을 주장한다.
연구 평가는 보다 효율적이고 일관된 평가를 위한 유망한 프레임워크를 제시한다.
👍