Sign In

Agentic Discovery of Neural Architectures: AIRA-Compose and AIRA-Design

์ž‘์„ฑ์ž
  • Haebom
์นดํ…Œ๊ณ ๋ฆฌ
Empty

์ €์ž

Alberto Pepe, Chien-Yu Lin, Despoina Magka, Bilge Acun, Yannan Nellie Wu, Anton Protopopov, Carole-Jean Wu, Yoram Bachrach

๐Ÿ’ก ๊ฐœ์š”

๋ณธ ๋…ผ๋ฌธ์€ LLM ์—์ด์ „ํŠธ๊ฐ€ ์Šค์Šค๋กœ ํ˜์‹ ์ ์ธ ๊ธฐ์ดˆ ๋ชจ๋ธ ์•„ํ‚คํ…์ฒ˜๋ฅผ ์„ค๊ณ„ํ•˜๋Š” ์ž์œจ์  ํƒ์ƒ‰ ๊ณผ์ •์„ ์ œ์‹œํ•ฉ๋‹ˆ๋‹ค. ์ด๋ฅผ ์œ„ํ•ด ๊ณ ์ˆ˜์ค€ ์•„ํ‚คํ…์ฒ˜ ํƒ์ƒ‰์„ ์œ„ํ•œ AIRA-Compose์™€ ์ €์ˆ˜์ค€ ๋ฉ”์ปค๋‹ˆ์ฆ˜ ๊ตฌํ˜„์„ ์œ„ํ•œ AIRA-Design์˜ ์ด์ค‘ ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์ œ์•ˆํ•ฉ๋‹ˆ๋‹ค. ์ œ์•ˆ๋œ ํ”„๋ ˆ์ž„์›Œํฌ๋Š” ๊ธฐ์กด ๋ชจ๋ธ๋“ค์„ ๋Šฅ๊ฐ€ํ•˜๋Š” ์„ฑ๋Šฅ์„ ๋ณด์—ฌ์ฃผ๋ฉฐ, AI ์—์ด์ „ํŠธ๊ฐ€ ์ธ๊ฐ„์˜ ์„ค๊ณ„ ๋Šฅ๋ ฅ์„ ๋›ฐ์–ด๋„˜๋Š” ์•„ํ‚คํ…์ฒ˜์™€ ์ตœ์ ํ™”๋ฅผ ๋ฐœ๊ฒฌํ•  ์ˆ˜ ์žˆ์Œ์„ ์ž…์ฆํ•ฉ๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
AI ์—์ด์ „ํŠธ๊ฐ€ ๊ธฐ์กด Transformer๋ฅผ ๋„˜์–ด์„  ์ƒˆ๋กœ์šด ์‹ ๊ฒฝ๋ง ์•„ํ‚คํ…์ฒ˜๋ฅผ ์ž์œจ์ ์œผ๋กœ ์„ค๊ณ„ํ•  ์ˆ˜ ์žˆ์Œ์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.
โ€ข
์ œ์•ˆ๋œ AIRA-Compose์™€ AIRA-Design ํ”„๋ ˆ์ž„์›Œํฌ๋Š” ๊ธฐ์กด ๋ชจ๋ธ ๋Œ€๋น„ ์šฐ์ˆ˜ํ•œ ์„ฑ๋Šฅ๊ณผ ํšจ์œจ์ ์ธ ํ™•์žฅ์„ฑ์„ ๋‹ฌ์„ฑํ–ˆ์Šต๋‹ˆ๋‹ค.
โ€ข
Long Range Arena ๋ฐ Autoresearch์™€ ๊ฐ™์€ ๋ฒค์น˜๋งˆํฌ์—์„œ ์ธ๊ฐ„์˜ ์ตœ์ฒจ๋‹จ ์„ฑ๋Šฅ์— ๊ทผ์ ‘ํ•˜๊ฑฐ๋‚˜ ์ด๋ฅผ ๋Šฅ๊ฐ€ํ•˜๋Š” ๊ฒฐ๊ณผ๋ฅผ ๋ณด์—ฌ์ฃผ๋ฉฐ, ์žฌ๊ท€์  ์ž๊ธฐ ๊ฐœ์„ ์„ ํ–ฅํ•œ ์ค‘์š”ํ•œ ๋ฐœ๊ฑธ์Œ์„ ๋‚ด๋”›์Šต๋‹ˆ๋‹ค.
โ€ข
ํ˜„์žฌ ์‹คํ—˜์€ 24์‹œ๊ฐ„ ์˜ˆ์‚ฐ ๋ฐ ํŠน์ • ๊ทœ๋ชจ์˜ ๋ชจ๋ธ์— ์ง‘์ค‘๋˜์–ด ์žˆ์œผ๋ฉฐ, ํ–ฅํ›„ ๋” ๋ณต์žกํ•˜๊ณ  ๋Œ€๊ทœ๋ชจ์˜ ๋ชจ๋ธ ์•„ํ‚คํ…์ฒ˜ ํƒ์ƒ‰ ๋ฐ ์„ค๊ณ„์— ๋Œ€ํ•œ ์—ฐ๊ตฌ๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.
๐Ÿ‘