Sign In

TrainMover: An Interruption-Resilient Runtime for ML Training

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

ChonLam Lao, Jiaqi Gao, Jiamin Cao, Zhipeng Zhang, Pengcheng Zhang, Jiangfei Duan, Zhilong Zheng, Yu Guan, Yichi Xu, Yong Li, Zhengping Qian, Aditya Akella, Minlan Yu, Ennan Zhai, Dennis Cai, Jingren Zhou

πŸ’‘ κ°œμš”

λŒ€κ·œλͺ¨ λ¨Έμ‹ λŸ¬λ‹ ν›ˆλ ¨ μž‘μ—…μ€ ν•˜λ“œμ›¨μ–΄ 및 μ†Œν”„νŠΈμ›¨μ–΄ 이상, μž₯μ• , 관리 이벀트 λ“±μœΌλ‘œ 인해 자주 μ€‘λ‹¨λ©λ‹ˆλ‹€. 기쑴의 체크포인트-μž¬μ‹œμž‘ λ˜λŠ” λŸ°νƒ€μž„ μž¬κ΅¬μ„± 방식은 κΈ΄ λ‹€μš΄νƒ€μž„κ³Ό μ„±λŠ₯ μ €ν•˜λ₯Ό μ•ΌκΈ°ν•©λ‹ˆλ‹€. λ³Έ 논문은 탄λ ₯적 및 λŒ€κΈ° 머신을 ν™œμš©ν•˜μ—¬ 쀑단 μ‹œ λ‹€μš΄νƒ€μž„μ„ μ΅œμ†Œν™”ν•˜κ³  λ©”λͺ¨λ¦¬ μ˜€λ²„ν—€λ“œλ₯Ό μ—†μ• λŠ” 볡원λ ₯ μžˆλŠ” LLM ν›ˆλ ¨ λŸ°νƒ€μž„μΈ TrainMoverλ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
TrainMoverλŠ” 두 단계, 델타 기반 톡신 κ·Έλ£Ή μ„€μ •, 톡신 μ—†λŠ” μƒŒλ“œλ°•μŠ€ μ›Œλ°μ—…, λͺ¨λ“  μ—­ν• μ—μ„œ μ‹€νŒ¨ 볡ꡬ가 κ°€λŠ₯ν•œ 일반적인 λŒ€κΈ° λ¨Έμ‹  섀계λ₯Ό 톡해 쀑단에 λŒ€ν•œ 볡원λ ₯을 λ†’μž…λ‹ˆλ‹€.
β€’
1024-GPU 규λͺ¨μ—μ„œ λ‹€μ–‘ν•œ 쀑단 μ‹œ μ•½ 20초의 λ‹€μš΄νƒ€μž„μ„ μΌκ΄€λ˜κ²Œ λ‹¬μ„±ν•˜λ©°, 64K-GPU 규λͺ¨μ—μ„œ μ£Όλ‹Ή 140만 GPU μ‹œκ°„μ„ μ ˆμ•½ν•  κ²ƒμœΌλ‘œ μ˜ˆμƒλ©λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ λŸ°νƒ€μž„μ˜ μΌλ°˜ν™” κ°€λŠ₯μ„± 및 λ‹€μ–‘ν•œ LLM μ•„ν‚€ν…μ²˜ 및 ν›ˆλ ¨ μ‹œλ‚˜λ¦¬μ˜€μ— λŒ€ν•œ μ„±λŠ₯ 영ν–₯은 μΆ”κ°€ 연ꡬ가 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage