본 논문은 GitHub Copilot 및 Amazon CodeWhisperer와 같은 AI 도구(LLM 에이전트)를 통해 AI 지원 프로그래밍과 대규모 언어 모델(LLM)이 소프트웨어 개발자의 능력을 향상시키는 방법을 연구합니다. 크라우드소싱된 계산을 사용하여 강화 학습(RLHF)을 개선하기 위해 인간의 피드백을 통합하여 텍스트-코드 생성을 향상시키는 방법을 제시합니다. 또한, 베이지안 최적화 프레임워크가 피드백 수집 부담을 분산함으로써 코드 생성에서 AI 정렬을 지원하고, 양질의 인간 피드백 수집의 가치를 강조한다는 것을 보여줍니다. 실증적 평가는 이 접근 방식의 효과를 보여주며, LLM 에이전트가 향상된 텍스트-코드 생성을 위해 효과적으로 훈련될 수 있음을 보여줍니다. 본 논문의 베이지안 최적화 프레임워크는 일반적인 도메인 특정 언어에 대해 설계될 수 있으며, 코드 생성을 위한 AI 지원 프로그래밍에서 대규모 언어 모델 기능과 인간 피드백의 정렬을 촉진합니다.
