본 연구는 복잡한 과학 기술 문서 내 미묘한 기술적 오류, 특히 다중 모드 해석이 필요한 (예: 이미지 내 수식) 오류를 식별하는 데 있어 대규모 언어 모델(LLM)의 한계를 탐구하는 예비 연구이다. LLM의 고유한 오류 수정 경향이 부정확성을 감출 수 있기 때문에 이는 상당한 어려움을 제시한다. 연구는 지속적 워크플로 프롬프팅(PWP) 원칙을 바탕으로 한 구조화된 LLM 컨텍스트 조건화를, 추론 시 LLM 동작을 조절하는 방법론적 전략으로 조사한다. 이 접근 방식은 API 접근이나 모델 수정 없이 표준 채팅 인터페이스만을 사용하여 일반적인 목적의 LLM(Gemini 2.5 Pro 및 ChatGPT Plus o3)의 정확한 검증 작업에 대한 신뢰성을 높이도록 설계되었다. 알려진 텍스트 및 이미지 기반 오류가 있는 단일 복잡한 테스트 논문 내 화학식 검증에 초점을 맞추어 여러 프롬프팅 전략을 평가하였다. 기본 프롬프트는 신뢰할 수 없었지만, PWP 구조를 적용하여 LLM의 분석적 사고방식을 엄격하게 조건화하는 접근 방식은 두 모델 모두에서 텍스트 오류 식별을 개선하는 것으로 나타났다. 특히, 이 방법은 Gemini 2.5 Pro가 수동 검토 중에 간과되었던 미묘한 이미지 기반 수식 오류를 반복적으로 식별하도록 유도했는데, 이는 ChatGPT Plus o3이 본 연구의 테스트에서 실패한 작업이다. 이러한 예비 결과는 세부 지향적 검증을 방해하는 특정 LLM 작동 모드를 강조하고, PWP 기반 컨텍스트 조건화가 특히 과학 기술 문서에서 세심한 오류 탐지를 요구하는 작업에 더욱 강력한 LLM 기반 분석 워크플로를 개발하기 위한 유망하고 접근성이 높은 기술임을 시사한다. 이 제한적인 개념 증명을 넘어 광범위한 적용 가능성을 확인하기 위해서는 광범위한 검증이 필요하다.
