본 논문은 새로운 치명적인 생물학적 위협("거울 박테리아에 관한 기술 보고서: 실현 가능성 및 위험")에 대한 정보를 공개하기 전에, 대규모 언어 모델(LLM)이 전문가 사용자에게 새로운 화학, 생물학, 방사능, 핵(CBRN) 위협을 얼마나 잘 드러낼 수 있는지 조사한 소규모 통제 연구를 수행한 결과를 제시한다. 대학원 수준의 생물학자들을 대상으로 거울 대장균의 방출 결과를 예측하는 실험에서, Claude Sonnet 3.5를 사용한 그룹과 웹 검색만 사용한 그룹 간에 유의미한 정확도 차이가 없었다. 그러나 보고서 저자의 프롬프트를 사용했을 때 Sonnet은 정확하게 추론했지만, 더 작은 모델인 Haiku 3.5는 저자의 안내에도 불구하고 실패했다. 이를 통해 LLM의 능력 단계(거울 생명체에 대한 추론 불가능, 전문가 프롬프트 필요, 일반 전문가에게 위협 공개 가능, 비전문가에게 위협 공개 가능)를 제시하며, 새로운 모델의 위협 추론 능력 모니터링을 통해 미리 보호 조치를 취할 수 있음을 시사한다.
