Context-Masked Truncated Reasoning Audits for Answer-Key Dependence in LLM Tutors
Author
- Haebom
Category
Empty
저자
Bonan Shen, Dingyan Shang, Youting Wang, Tao Ning, Bowen Liu
💡 개요
본 연구는 LLM 튜터가 제공하는 설명에서 정답 정보가 실제 문제 풀이 과정에 대한 이해를 반영하는지, 아니면 외부 정답 키에 직접 의존하는지를 판단하기 위해 트렁케이티드 리즈닝(truncated reasoning) 기법을 활용합니다. 실험 결과, 정답 키가 제공될 경우 LLM이 정답을 복구하는 능력이 급격히 향상되었으며, 컨텍스트 마스킹 기법을 통해 이러한 의존성을 효과적으로 완화할 수 있음을 보여줍니다. 이는 LLM 튜터가 제공하는 설명의 신뢰성을 평가하는 데 중요한 통찰을 제공합니다.
🔑 시사점 및 한계
•
LLM 튜터가 외부 정답 키에 직접적으로 의존하여 설명 생성을 하는지 여부를 평가하는 새로운 방법론을 제시합니다.
•
컨텍스트 마스킹 기법이 LLM의 정답 키 의존성을 줄이고, 설명 자체의 추론 능력을 평가하는 데 효과적임을 입증합니다.
•
잘못된 정답 키도 LLM의 결과에 영향을 미칠 수 있으며, 컨텍스트 마스킹 후에도 이러한 영향이 완전히 사라지지는 않는다는 한계점을 보여줍니다.
