Repeated Sampling (RS)은 복잡한 작업에서 모델 성능을 향상시키는 간단한 추론 시간 알고리즘이지만, 다양한 솔루션 후보를 생성하는 데 어려움을 겪습니다. 이 한계를 해결하기 위해 탐색과 생성을 분리하여 생성된 후보 솔루션의 다양성을 높이는 새로운 추론 알고리즘인 GuidedSampling을 제안합니다. GuidedSampling은 탐색 단계에서 문제를 해결하는 데 사용될 수 있는 여러 개념을 식별하고, 생성 단계에서 특정 개념을 적용하여 최종 솔루션 후보를 제공합니다.
시사점, 한계점
•
시사점:
◦
GuidedSampling은 RS에 비해 다양한 벤치마크에서 pass@50에서 평균 ~21.6% 향상된 성능을 보입니다.
◦
GuidedSampling의 궤적에서 훈련된 모델은 전통적인 RS에서 훈련된 모델에 비해 pass@5에서 평균 ~9.7% 상당한 성능 향상을 보입니다.
◦
GuidedSampling으로 훈련된 모델은 인스턴스당 평균 개념 수를 증가시켜(1.67 -> 3.03) 전통적인 RS보다 다양한 후보 집합을 생성합니다.
