Sign In

Hypergraph Pattern Machine: Compositional Tokenization for Higher-Order Interactions

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Kyrie Zhao, Zehong Wang, Tianyi Ma, Fang Wu, Xiangru Tang, Pietro Lio, Sheng Wang, Yanfang Ye

πŸ’‘ κ°œμš”

λ³Έ 논문은 μ•½λ¬Ό μƒν˜Έμž‘μš©κ³Ό 같은 μ‹€μ œ μ„Έκ³„μ˜ 고차원 관계λ₯Ό λͺ¨λΈλ§ν•˜λŠ” 데 μžˆμ–΄ μ€‘μš”ν•œ 정보인 'μƒν˜Έμž‘μš©μ˜ μ‘°ν•©μ„±'을 ν•™μŠ΅ν•˜λŠ” μƒˆλ‘œμš΄ 방법둠인 Hypergraph Pattern Machine (HGPM)을 μ œμ•ˆν•©λ‹ˆλ‹€. HGPM은 λ©”μ‹œμ§€ 전달 λ°©μ‹μ—μ„œ λ²—μ–΄λ‚˜ λΆ€λΆ„μ§‘ν•©μ˜ μ‘°ν•© νŒ¨ν„΄μ„ 직접 ν•™μŠ΅ν•˜λ©°, 이λ₯Ό 톡해 κΈ°μ‘΄ 방법둠이 κ°„κ³Όν–ˆλ˜ λ³΅μž‘ν•œ μƒν˜Έμž‘μš©μ„ 효과적으둜 ν¬μ°©ν•©λ‹ˆλ‹€. λ‹€μ–‘ν•œ λ²€μΉ˜λ§ˆν¬μ—μ„œ μ΅œμ²¨λ‹¨ μ„±λŠ₯을 λ‹¬μ„±ν•˜κ³ , μ‹€μ œ μ•½λ¬Ό λΆ€μž‘μš© 예츑 μ‚¬λ‘€μ—μ„œ κΈ°μ‘΄ λͺ¨λΈμ΄ κ΅¬λ³„ν•˜μ§€ λͺ»ν–ˆλ˜ μ€‘μš”ν•œ μ•½λ¬Ό μƒν˜Έμž‘μš©μ„ μ„±κ³΅μ μœΌλ‘œ μ‹λ³„ν•˜λŠ” μ„±κ³Όλ₯Ό λ³΄μ˜€μŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
고차원 κ΄€κ³„μ—μ„œ λ°œμƒν•˜λŠ” μƒν˜Έμž‘μš©μ˜ μ‘°ν•©μ„±(compositional, emergent, inhibitory)μ΄λΌλŠ” μ€‘μš”ν•œ ꡬ쑰적 μ‹ ν˜Έλ₯Ό ν•™μŠ΅ν•  수 μžˆλŠ” μƒˆλ‘œμš΄ νŒ¨λŸ¬λ‹€μž„μ„ μ œμ‹œν•©λ‹ˆλ‹€.
β€’
기쑴의 λ©”μ‹œμ§€ 전달 방식에 μ˜μ‘΄ν•˜λŠ” ν•˜μ΄νΌκ·Έλž˜ν”„ ν•™μŠ΅ λ°©λ²•λ‘ μ˜ ν•œκ³„λ₯Ό κ·Ήλ³΅ν•˜κ³ , 특히 μ‹€μ œ μ‘μš© λΆ„μ•Όμ—μ„œ λ”μš± μ •ν™•ν•˜κ³  μ‹ λ’°ν•  수 μžˆλŠ” μ˜ˆμΈ‘μ„ κ°€λŠ₯ν•˜κ²Œ ν•©λ‹ˆλ‹€.
β€’
ν•™μŠ΅λœ λΆ€λΆ„μ§‘ν•©μ˜ 포함 관계 DAG와 인클루전 인지 트랜슀포머 κ΅¬μ‘°λŠ” ν•˜μ΄νΌκ·Έλž˜ν”„ λ°μ΄ν„°μ˜ λ³΅μž‘ν•œ ꡬ쑰λ₯Ό 효과적으둜 λͺ¨λΈλ§ν•˜λŠ” 데 κΈ°μ—¬ν•©λ‹ˆλ‹€.
β€’
ν–₯ν›„ μ—°κ΅¬μ—μ„œλŠ” 더 λ‹€μ–‘ν•œ μœ ν˜•μ˜ 고차원 μƒν˜Έμž‘μš© νŒ¨ν„΄μ„ ν•™μŠ΅ν•˜κ³ , 더 크고 λ³΅μž‘ν•œ μ‹€μ œ 데이터셋에 λŒ€ν•œ ν™•μž₯성을 탐ꡬ할 ν•„μš”κ°€ μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage