Sign In

Auto Research with Specialist Agents Develops Effective and Non-Trivial Training Recipes

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Jingjie Ning, Xiaochuan Li, Ji Zeng, Hao Kang, Chenyan Xiong

πŸ’‘ κ°œμš”

이 μ—°κ΅¬λŠ” μ™ΈλΆ€ 츑정을 톡해 μ£Όλ„λ˜λŠ” μžλ™ν™”λœ 연ꡬ ν”„λ‘œμ„ΈμŠ€λ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. μ œμ•ˆλœ μ‹œμŠ€ν…œμ€ κ°€μ„€, μ½”λ“œ λ³€κ²½, μ‹€ν—˜ κ²°κ³Ό 및 ν”Όλ“œλ°±μ„ ν¬ν•¨ν•˜λŠ” 폐쇄 루프λ₯Ό 톡해 μƒˆλ‘œμš΄ 연ꡬ μ œμ•ˆμ„ μƒμ„±ν•˜λ©°, μ΄λŠ” λ‹¨μˆœνžˆ λͺ¨λΈ μ²΄ν¬ν¬μΈνŠΈκ°€ μ•„λ‹Œ 검증 κ°€λŠ₯ν•œ 연ꡬ 과정을 κΈ°λ‘ν•©λ‹ˆλ‹€. μ „λ¬Έκ°€ μ—μ΄μ „νŠΈλ“€μ΄ 역할을 λΆ„λ‹΄ν•˜κ³  μΈ‘μ •λœ κ²°κ³Ό lineageλ₯Ό κ³΅μœ ν•¨μœΌλ‘œμ¨, μ‹œμŠ€ν…œμ€ μ‹€νŒ¨λ₯Ό ν¬ν•¨ν•œ λ‹€μ–‘ν•œ 평가 κ²°κ³Όλ₯Ό ν–₯ν›„ 연ꡬ λ°©ν–₯ μˆ˜μ •μ— ν™œμš©ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
μžλ™ν™”λœ 연ꡬ 및 λ ˆμ‹œν”Ό μ΅œμ ν™”: μ œμ•ˆλœ μ‹œμŠ€ν…œμ€ μΈκ°„μ˜ κ°œμž… 없이 μ½”λ“œλ₯Ό μž‘μ„±ν•˜κ³  μ‹€ν—˜μ„ μˆ˜ν–‰ν•˜λ©°, 기쑴의 ν•™μŠ΅ λ ˆμ‹œν”Όλ₯Ό κ°œμ„ ν•  수 μžˆμŒμ„ λ³΄μ—¬μ€λ‹ˆλ‹€.
β€’
μ‹€νŒ¨λ‘œλΆ€ν„°μ˜ ν•™μŠ΅: μ‹œμŠ€ν…œμ€ μ„±λŠ₯ 미달, μ˜ˆμ‚° 초과, 좩돌 λ“± μ‹€νŒ¨ 사둀λ₯Ό μΌνšŒμ„± μ œμ•ˆμ΄ μ•„λ‹Œ ν”„λ‘œκ·Έλž¨ μˆ˜μ€€μ˜ λ ˆμ‹œν”Ό νŽΈμ§‘μœΌλ‘œ μ—°κ²°ν•˜μ—¬ 연ꡬλ₯Ό λ°œμ „μ‹œν‚΅λ‹ˆλ‹€.
β€’
κ΄‘λ²”μœ„ν•œ 적용 κ°€λŠ₯μ„±: Parameter Golf, NanoChat, CIFAR-10 λ“± λ‹€μ–‘ν•œ νƒœμŠ€ν¬μ—μ„œ μœ μ˜λ―Έν•œ μ„±λŠ₯ ν–₯상을 λ‹¬μ„±ν•˜μ—¬ λ°©λ²•λ‘ μ˜ νš¨κ³Όμ„±μ„ μž…μ¦ν•©λ‹ˆλ‹€.
β€’
ν•œκ³„μ : λ…Όλ¬Έμ—μ„œ λͺ…μ‹œμ μœΌλ‘œ μ œμ‹œλœ ν•œκ³„μ μ€ μ—†μœΌλ‚˜, μ‹€μ œ 연ꡬ ν™˜κ²½μ—μ„œμ˜ λ³΅μž‘μ„±, μ—μ΄μ „νŠΈ κ°„μ˜ 효율적인 ν˜‘μ—… λ©”μ»€λ‹ˆμ¦˜, 그리고 νŠΉμ • 도메인에 λŒ€ν•œ 깊이 μžˆλŠ” 이해λ₯Ό μ–΄λŠ μˆ˜μ€€κΉŒμ§€ μžλ™ν™”ν•  수 μžˆλŠ”μ§€μ— λŒ€ν•œ 좔가적인 연ꡬ가 ν•„μš”ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘