Sign In

SFTMix: Elevating Language Model Instruction Tuning with Mixup Recipe

Created by
  • Haebom
Category
Empty

μ €μž

Yuxin Xiao, Shujian Zhang, Wenxuan Zhou, Marzyeh Ghassemi, Sanqiang Zhao

πŸ’‘ κ°œμš”

λ³Έ 논문은 κΈ°μ‘΄ 지도 ν•™μŠ΅ λ―Έμ„Έ μ‘°μ •(SFT) λ°©μ‹μ—μ„œ 데이터 ν’ˆμ§ˆμ— λŒ€ν•œ μ˜μ‘΄μ„±μ„ μ€„μ΄κ³ μž Mixup 기법을 ν™œμš©ν•œ μƒˆλ‘œμš΄ SFTMix λ ˆμ‹œν”Όλ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. SFTMixλŠ” μ–Έμ–΄ λͺ¨λΈμ΄ μ§€μ‹œλ₯Ό λ”°λ₯΄λŠ” λŠ₯λ ₯을 ν–₯μƒμ‹œν‚€κΈ° μœ„ν•΄, λ‹€μ–‘ν•œ 신뒰도 μˆ˜μ€€μ„ 가진 μ˜ˆμ œλ“€μ„ ν•™μŠ΅ 동역학을 톡해 μ‹λ³„ν•˜κ³  이λ₯Ό 보간(interpolation)ν•¨μœΌλ‘œμ¨ 신뒰도 격차λ₯Ό ν•΄μ†Œν•©λ‹ˆλ‹€. μ œμ•ˆλœ SFTMixλŠ” LLM μ œν’ˆκ΅°, 데이터셋 크기 및 ν’ˆμ§ˆμ— 관계없이 μΌκ΄€λœ μ„±λŠ₯ ν–₯상을 λ³΄μ—¬μ€λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
SFTMixλŠ” κ³ ν’ˆμ§ˆ 데이터셋 ꡬ좕에 λ“œλŠ” λΉ„μš©κ³Ό λ…Έλ ₯을 μ ˆκ°ν•˜λ©΄μ„œλ„ LLM의 μ§€μ‹œ μˆ˜ν–‰ λŠ₯λ ₯을 효과적으둜 ν–₯μƒμ‹œν‚¬ 수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
Mixup 기반의 μ •κ·œν™” 기법을 톡해 λ³΄κ°„λœ μ˜ˆμ œλ“€μ— λŒ€ν•œ ν•™μŠ΅μ„ μ§€μ›ν•˜λ©°, 데이터 선택, 계산 μ œμ•½ ν™˜κ²½, λ‹€μ–‘ν•œ 적용 사둀에 λŒ€ν•œ ν˜Έν™˜μ„±μ„ μž…μ¦ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
SFTMix의 효과λ₯Ό κ·ΉλŒ€ν™”ν•˜κΈ° μœ„ν•œ 졜적의 Mixup λΉ„μœ¨ 및 신뒰도 식별 기쀀에 λŒ€ν•œ 좔가적인 연ꡬ가 ν•„μš”ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage