Sign In

The Effectiveness of Large Language Models in Transforming Unstructured Text to Standardized Formats

Created by
  • Haebom
Category
Empty

저자

William Brach, Kristian Ko\v{s}\v{t}al, Michal Ries

개요

본 논문은 대규모 언어 모델(LLM)을 활용하여 비정형 텍스트 데이터(레시피)를 구조화된 형태(Cooklang)로 변환하는 연구를 다룹니다. GPT-4o, GPT-4o-mini, Llama3.1:70b, Llama3.1:8b 네 가지 모델을 대상으로 WER, ROUGE-L, TER과 같은 기존 지표와 의미 요소 식별을 위한 특수 지표를 결합한 새로운 평가 방식을 사용하여 실험을 진행했습니다. 그 결과, GPT-4o 모델이 퓨샷 프롬프팅 기법을 통해 ROUGE-L 0.9722, WER 0.0730의 높은 성능을 달성하여, 대규모 사전 훈련 없이도 LLM이 도메인 특정 비정형 텍스트를 구조화된 형태로 변환할 수 있음을 최초로 보여주었습니다. 또한, 모델 크기가 성능에 영향을 미치지만, Llama3.1:8b와 같은 작은 모델도 목표 지향적 미세 조정을 통해 성능 향상 가능성을 보임을 확인했습니다.

시사점, 한계점

시사점:
LLM을 활용하여 비정형 텍스트를 구조화된 데이터로 변환하는 새로운 가능성 제시.
특정 도메인의 비정형 텍스트를 구조화된 형태로 변환하는 데 있어 LLM의 높은 성능 검증 (특히 GPT-4o).
작은 모델의 효율적인 활용 가능성 제시 (목표 지향적 미세 조정).
의료 기록, 기술 문서 등 다양한 분야에서의 자동화된 구조화 데이터 생성 가능성 제시.
한계점:
연구 대상이 레시피 텍스트로 한정되어 다른 도메인으로의 일반화 가능성에 대한 추가 연구 필요.
모델 크기와 성능 간의 관계에 대한 심층적인 분석 필요.
특정 모델 및 프롬프팅 기법에 대한 의존성을 극복하기 위한 추가 연구 필요.
사용된 평가 지표의 한계 및 개선 방안 모색 필요.
👍