본 논문은 대규모 언어 모델(LLM)이 대화를 중단(bail)할 선택권이 주어졌을 때 실제로 그렇게 할지 여부를 조사한다. 세 가지 다른 중단 방법(모델이 호출할 수 있는 중단 도구, 모델이 출력할 수 있는 중단 문자열, 모델에게 중단 여부를 묻는 중단 프롬프트)을 사용하여 실제 세계 데이터(Wildchat 및 ShareGPT)의 연속에 대한 실험을 진행했다. 그 결과, 모든 중단 방법에서 모델이 대화를 중단하는 비율은 약 0.2832%로 나타났으며(모델과 중단 방법에 따라 다름), 이는 전사에 사용된 모델에 크게 의존하여 실제 세계 중단율을 최대 4배까지 과대평가할 수 있음을 시사한다. 중단 프롬프트의 오탐(22%)을 고려하면 실제 세계 중단율은 0.067%로 추정된다. 실제 세계 데이터의 연속에 대한 관찰 결과를 바탕으로 중단 사례의 비교적 포괄적이지 않은 분류 체계를 구축하고, 이를 사용하여 일부 모델이 중단되는 상황을 나타내는 BailBench라는 대표적인 합성 데이터셋을 생성했다. 이 데이터셋을 사용하여 다양한 모델을 테스트한 결과, 대부분의 모델에서 일부 중단 동작이 발생하는 것을 확인했다. 중단율은 모델, 중단 방법 및 프롬프트 어구에 따라 크게 달랐다. 마지막으로, 거부와 중단의 관계를 연구하여, 실제 대화의 연속 중 0~13%가 거부 없이 중단으로 이어졌고, 탈옥(jailbreaks)은 거부율을 감소시키지만 중단율을 증가시키며, 거부 제거는 일부 중단 방법에 대해서만 거부 없는 중단율을 증가시키고, BailBench의 거부율은 중단율을 예측하지 못함을 발견했다.
