Validity of LLMs as data annotators: AMALIA on authority

작성자

Haebom

카테고리

Empty

저자

Manuel Pita

💡 개요

본 연구는 유럽 포르투갈어를 위한 90억 파라미터 규모의 국립 언어 모델인 AMALIA가 인간 코더와의 높은 일치도를 보이면서도, 도덕적 권위의 근간과 같은 추론적 구성 개념에 대한 유효성을 평가합니다. AMALIA는 전체 프롬프트와 분해된 프롬프트 간의 성능 격차, 즉 '복구 간극'을 통해 모델이 이론을 따르는지 아니면 표면적 상관관계에 의존하는지 테스트했습니다. 실험 결과, AMALIA는 추론적 구성 개념을 측정하는 데 있어 인간 코더와의 일치도에도 불구하고, 표면적 상관관계에 의존하는 경향을 보여 단독으로 사용되기에는 한계가 있음을 시사합니다.

🔑 시사점 및 한계

•

국립 언어 모델은 높은 일치도를 보여도 이론적 구성 개념의 유효성을 보장하지 못하며, 표면적 특징에 의존할 수 있습니다.

•

추론적 구성 개념을 측정하기 위해 LLM을 사용할 때, 모델이 이론적 지침을 따르는지, 아니면 표면적 신호를 활용하는지를 검증하는 '복구 간극' 테스트가 중요합니다.

•

본 연구는 단일 구성 개념과 언어에 대한 단일 반례로, 국립 언어 모델의 전반적인 유효성에 대한 결론이 아닌, LLM 기반 벤치마크는 일치도뿐만 아니라 합의가 도출된 근거 경로를 평가해야 함을 제안합니다.

•

AMALIA와 같은 국립 언어 모델은 대규모 스크리닝 및 사전 코딩에는 유용할 수 있으나, 복잡한 추론적 구성 개념 측정에는 아직 한계가 있습니다.

PDF 보기

Made with Slashpage