Search Beyond What Can Be Taught: Evolving the Knowledge Boundary in Agentic Visual Generation

작성자

Haebom

카테고리

Empty

저자

Haozhe Wang, Weijia Feng, Jinpeng Yu, Che Liu, Ping Nie, Fangzhen Lin, Jiaming Liu, Ruihua Huang, Jimmy Lin, Wenhu Chen, Cong Wei

💡 개요

본 논문은 현재 시각 생성 모델이 학습된 지식의 경계를 넘어 '알지 못하는' 정보를 자신 있게 만들어내는 문제를 제기합니다. 이를 해결하기 위해, 사용자 요청의 무한하고 진화하는 특성에 맞춰 학습된 데이터셋으로는 채울 수 없는 '세계 지식 병목' 현상을 극복하고자 합니다. 논문은 'SearchGen-20K'와 'SearchGen-Bench'라는 대규모 벤치마크를 구축하고, 단순히 검색 도구를 사용하는 것이 아니라 생성 모델의 고유한 지식 경계를 학습하는 'teach-then-search' 공동 훈련 프레임워크를 제안하여 점진적인 개선을 달성합니다.

🔑 시사점 및 한계

•

세계 지식의 진화와 생성 모델의 한계: 시각 생성 모델은 고정된 코퍼스로 학습되지만, 실제 세계는 계속해서 새로운 정보가 생성되므로 지식의 한계가 명확합니다.

•

'teach-then-search' 공동 훈련 프레임워크의 가능성: 생성 모델의 지식 경계를 학습하여 검색 도구 활용 시 노이즈를 줄이고 성능을 향상시키는 새로운 접근 방식이 제시되었습니다.

•

벤치마크의 필요성과 기여: 기존 벤치마크로는 드러나지 않았던 최신 생성 모델들의 40점이라는 상당한 성능 하락을 'SearchGen-Bench'를 통해 객관적으로 평가하고, 재현 가능한 연구를 위한 데이터셋을 공개했습니다.

•

한계점/향후 과제: 'teach-then-search' 프레임워크의 '최소 버전'에서도 monotonic improvement를 보였지만, 최적의 공동 훈련 방식과 지식 경계의 동적이고 재귀적인 자기 개선 메커니즘에 대한 추가 연구가 필요합니다.

PDF 보기

Made with Slashpage