본 논문은 대규모 언어 모델(LLM)을 원자력 공학과 같은 안전 중요 분야에 통합하는 데 있어 내부 추론 과정에 대한 깊이 있는 이해가 필요하다는 점을 강조한다. 끓는 물 반응로 시스템을 사례 연구로 사용하여 LLM이 도메인 특정 지식을 어떻게 인코딩하고 활용하는지 해석하기 위한 새로운 방법론을 제시한다. 저자들은 Low-Rank Adaptation이라는 매개변수 효율적인 미세 조정 기법을 사용하여 범용 LLM(Gemma-3-1b-it)을 원자력 도메인에 적용했다. 기본 모델과 미세 조정된 모델의 뉴런 활성 패턴을 비교하여 적응 과정에서 동작이 크게 변경된 희소한 뉴런 집합을 식별했다. 이러한 특수 뉴런의 인과적 역할을 조사하기 위해 뉴런 침묵 기법을 사용했다. 연구 결과, 이러한 특수 뉴런의 대부분을 개별적으로 침묵시키는 것은 통계적으로 유의미한 영향을 미치지 않았지만, 전체 그룹을 집단적으로 비활성화하면 작업 성능이 통계적으로 유의미하게 저하되는 것으로 나타났다. 정성적 분석을 통해 이러한 뉴런을 침묵시키면 모델이 상세하고 문맥적으로 정확한 기술 정보를 생성하는 능력이 손상되는 것으로 밝혀졌다. 본 논문은 불투명한 블랙박스 모델의 투명성을 높이는 구체적인 방법론을 제공하여 도메인 전문 지식을 검증 가능한 신경 회로로 추적할 수 있게 한다. 이는 원자력 규제 프레임워크(예: 10 CFR 50 부록 B)에서 요구하는 검증 및 확인 과제를 해결하여 안전 중요 원자력 운영에서 AI 배포를 위한 경로를 제공한다.
