Sign In

ActiveDPO: Active Direct Preference Optimization for Sample-Efficient Alignment

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Xiaoqiang Lin, Arun Verma, Zhongxiang Dai, Daniela Rus, See-Kiong Ng, Bryan Kian Hsiang Low

πŸ’‘ κ°œμš”

λ³Έ 논문은 λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈ(LLM) 정렬에 ν•„μš”ν•œ 인간 μ„ ν˜Έλ„ 데이터 μˆ˜μ§‘μ˜ λΉ„μš©κ³Ό λΉ„νš¨μœ¨μ„±μ„ ν•΄κ²°ν•˜κΈ° μœ„ν•΄ ActiveDPOλΌλŠ” μƒˆλ‘œμš΄ μ•Œκ³ λ¦¬μ¦˜μ„ μ œμ•ˆν•©λ‹ˆλ‹€. ActiveDPOλŠ” λΉ„μ„ ν˜• 보상 ν•¨μˆ˜μ— λŒ€ν•œ 이둠적으둜 νƒ„νƒ„ν•œ 데이터 선택 기쀀을 μ‚¬μš©ν•˜λ©°, 데이터 선택을 μœ„ν•œ 보상 λͺ¨λΈμ„ 직접 LLM으둜 λ§€κ°œλ³€μˆ˜ν™”ν•©λ‹ˆλ‹€. 이λ₯Ό 톡해 LLM 자체의 영ν–₯을 κ³ λ €ν•œ 효율적인 데이터 μˆ˜μ§‘μ„ κ°€λŠ₯ν•˜κ²Œ ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
LLM 자체의 영ν–₯을 κ³ λ €ν•œ 이둠적으둜 νƒ„νƒ„ν•œ 데이터 선택 기쀀을 톡해 μƒ˜ν”Œ 효율적인 LLM 정렬을 λ‹¬μ„±ν•©λ‹ˆλ‹€.
β€’
κΈ°μ‘΄ 방법 λŒ€λΉ„ λ‹€μ–‘ν•œ λͺ¨λΈκ³Ό μ‹€μ œ μ„ ν˜Έλ„ λ°μ΄ν„°μ…‹μ—μ„œ μš°μˆ˜ν•œ μ„±λŠ₯을 μž…μ¦ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ λ°©λ²•λ‘ μ˜ 이둠적 κΈ°λ°˜μ„ 더 넓은 λ²”μœ„μ˜ 보상 ν•¨μˆ˜ 및 LLM μ•„ν‚€ν…μ²˜λ‘œ ν™•μž₯ν•  ν•„μš”κ°€ μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage