본 논문은 생성형 AI가 과학 분야에서 활용될 때 발생하는 환각(hallucination) 현상에 대해 다룬다. 환각은 부정확하지만 표면적으로는 그럴듯한 출력을 의미하며, 기존 주장처럼 생성형 추론의 불가피한 결과가 아니라고 주장한다. 모델의 내부적 특성만 고려하는 기존 환각 개념의 한계를 지적하고, 과학적 추론에 위협이 되는 '부식성 환각(corrosive hallucination)'이라는 개념을 새롭게 제시한다. 부식성 환각은 과학적 신뢰성에 위협이 되지만 불가피한 것은 아니며, AlphaFold와 GenCast와 같은 과학적 워크플로우를 통해 훈련 시 이론적 제약을 부과하고 추론 시 전략적으로 오류를 걸러냄으로써 그 영향을 무력화할 수 있다고 주장한다. 결론적으로, 적절한 워크플로우 내에서 생성형 AI는 과학적 지식에 신뢰할 수 있게 기여할 수 있다고 결론짓는다.
