본 논문은 기존 지식을 유지하면서 실시간 인간 피드백으로부터 새로운 기술을 동적으로 학습하는 대화형 지속적 학습 패러다임을 제시합니다. 기존 지속적 학습의 두 가지 주요 한계점, 즉 (1) 고정된 레이블을 가진 정적 데이터셋이 아닌 스트리밍되는 실시간 인간 주석 데이터를 사용한 동적 모델 업데이트, (2) 깨끗한 레이블에 대한 가정을 해결합니다. 이를 위해, 대규모 언어 모델(LLM)을 활용하여 동적 피드백으로부터 효과적으로 새로운 기술을 학습하는 강화 대화형 지속적 학습(RiCL) 프레임워크를 제안합니다. RiCL은 데이터 스트림에서 깨끗한 샘플과 노이즈가 있는 샘플을 자동으로 구별하는 시간 일관성 인식 정제기, AI가 생성한 피드백과 인간이 제공한 피드백을 조정하여 모델 동작을 인간의 의도와 일치시키는 상호 작용 인식 직접 선호도 최적화 전략, 잠재적으로 신뢰할 수 없는 레이블에 의존하지 않고 데이터 관계를 활용하여 강력한 표현을 포착하는 노이즈 저항 콘트라스트 학습 모듈의 세 가지 핵심 구성 요소로 구성됩니다. 현실적인 노이즈 패턴으로 오염된 두 개의 벤치마크 데이터셋(FewRel 및 TACRED)에 대한 광범위한 실험은 RiCL 접근 방식이 최첨단 온라인 지속적 학습 및 노이즈 레이블 학습 방법의 기존 조합을 상당히 능가함을 보여줍니다.
