본 논문은 대규모 언어 모델(LLM)이 과학 논문의 비판적 동료 검토를 수행하는 데 어려움을 겪는 문제를 해결하기 위해, 지속적 워크플로 프롬프팅(PWP)이라는 새로운 프롬프트 엔지니어링 방법론을 제시한다. PWP는 표준 LLM 채팅 인터페이스를 사용하여 계층적이고 모듈화된 구조(Markdown으로 구성)를 통해 상세한 분석 워크플로를 정의함으로써 LLM이 체계적이고 다중 모드의 평가를 수행하도록 안내한다. 실험 화학 논문의 비판적 분석을 위한 PWP 프롬프트의 개념 증명을 제시하며, 메타 프롬프팅 기법과 메타 추론을 반복적으로 적용하여 전문가 검토 워크플로, 심지어 암묵적인 지식까지 체계적으로 코드화한다. 본 연구는 PWP를 이용한 LLM이 테스트 케이스에서 주요 방법론적 결함을 식별하고, LLM 입력 편향을 완화하며, 주장과 증거 구분, 텍스트/사진/그림 분석을 통한 매개변수 추론, 정량적 타당성 검사 실행, 추정치와 주장 비교, 사전 타당성 평가 등 복잡한 작업을 수행하는 것을 보여준다. 투명성을 보장하고 복제를 용이하게 하기 위해 전체 프롬프트, 상세한 데모 분석 및 대화형 채팅 로그를 보충 자료로 제공한다. 이 작업은 특정 응용 프로그램을 넘어, 상세한 워크플로 공식화에 의해 정보가 제공되는 PWP의 잠재력을 강조하여 복잡한 과학적 작업에 쉽게 사용 가능한 LLM을 사용한 정교한 분석을 가능하게 하는 메타 개발 프로세스 자체에 대한 통찰력을 제공한다.
