# Conversation for Non-verifiable Learning: Self-Evolving LLMs through Meta-Evaluation

### 저자

Yuan Sui, Bryan Hooi

### 💡 개요

본 논문은 창의적 글쓰기, 대화, 윤리적 추론 등 정답이 없는 비검증 가능한 작업에 대한 LLM 학습의 어려움을 해결합니다. 저자들은 LLM 자체를 평가자로 활용하는 방식의 한계를 지적하며, 평가자 자체의 성능을 향상시키는 메타-평가 개념을 제안합니다. 이를 위해 CoNL이라는 프레임워크를 개발했으며, 이는 다중 에이전트의 자기 대화를 통해 생성, 평가, 메타-평가를 통합하고, 비판의 품질을 개선 효과로 측정하여 생성 및 평가 능력을 공동으로 최적화합니다.

### 🔑 시사점 및 한계

- **자기 평가 능력 향상:** CoNL 프레임워크는 LLM이 스스로를 평가하고 개선하는 메타-평가 능력을 학습할 수 있음을 보여줍니다.

- **외부 의존성 감소:** 별도의 인간 평가자나 정답 라벨 없이도 LLM의 성능을 지속적으로 향상시킬 수 있는 방법을 제시합니다.

- **비검증 가능한 작업에서의 LLM 학습 가능성 확장:** 창의성, 윤리 등 객관적 기준이 모호한 영역에서도 LLM 학습의 효율성을 높일 수 있는 잠재력을 보여줍니다.

- **메타-평가 프레임워크의 일반화 및 안정성:** CoNL이 다양한 벤치마크에서 일관된 개선을 보였지만, 실제 복잡하고 방대한 시나리오에 적용될 때의 일반화 성능 및 훈련 안정성에 대한 추가적인 검증이 필요할 수 있습니다.

[PDF 보기](https://arxiv.org/pdf/2601.21464)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).