Sign In

TFM-Retouche: A Lightweight Input-Space Adapter for Tabular Foundation Models

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Duong Nguyen, Mohammed Jawhar, Nicolas Chesneau

πŸ’‘ κ°œμš”

λ³Έ 논문은 κ³ μ •λœ 귀납적 편ν–₯을 가진 κΈ°μ‘΄ ν…Œμ΄λΈ” ν˜•μ‹ μž¬λ‹¨ λͺ¨λΈ(TFM)의 μ„±λŠ₯을 κ°œμ„ ν•˜κΈ° μœ„ν•΄ μ œμ•ˆλœ 'TFM-Retouche'λ₯Ό μ†Œκ°œν•©λ‹ˆλ‹€. TFM-RetoucheλŠ” TFM 백본에 관계없이 ν•™μŠ΅ν•  수 μžˆλŠ” κ°€λ²Όμš΄ μž…λ ₯ 곡간 μž”μ°¨ μ–΄λŒ‘ν„°λ‘œ, μž…λ ₯ 데이터λ₯Ό 사전 ν•™μŠ΅λœ λͺ¨λΈμ˜ 귀납적 편ν–₯에 맞게 μ‘°μ •ν•©λ‹ˆλ‹€. 이λ₯Ό 톡해 계산 λΉ„μš©μ΄ 많이 λ“œλŠ” 전체 λ―Έμ„Έ μ‘°μ •μ΄λ‚˜ λ³΅μž‘ν•œ PEFT 방법 없이도 TFM의 μ„±λŠ₯을 효과적으둜 ν–₯μƒμ‹œν‚¬ 수 μžˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
λͺ¨λΈ μ•„ν‚€ν…μ²˜ 뢈문 적응성: TFM-RetoucheλŠ” 사전 ν•™μŠ΅λœ TFM 백본의 μ•„ν‚€ν…μ²˜μ— ꡬ애받지 μ•Šκ³  적용될 수 μžˆμ–΄ λ²”μš©μ„±μ΄ λ›°μ–΄λ‚©λ‹ˆλ‹€.
β€’
효율적인 μ„±λŠ₯ ν–₯상: κ³„μ‚°μ μœΌλ‘œ 효율적인 λ°©μ‹μœΌλ‘œ TFM의 예츑 ν’ˆμ§ˆκ³Ό 보정 λŠ₯λ ₯을 크게 ν–₯μƒμ‹œν‚¬ 수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
κ³Όλ„ν•œ 적응 방지: 검증 λ°μ΄ν„°μ…‹μ—μ„œ μ„±λŠ₯ κ°œμ„ μ΄ 없을 경우 μ›λž˜ TFM으둜 μžλ™ μ „ν™˜λ˜λŠ” 'identity guard' λ©”μ»€λ‹ˆμ¦˜μ„ 톡해 κ³Όλ„ν•œ μ μ‘μœΌλ‘œ μΈν•œ μ„±λŠ₯ μ €ν•˜λ₯Ό λ°©μ§€ν•©λ‹ˆλ‹€.
β€’
μ œν•œλœ μ‹€ν—˜: λ…Όλ¬Έμ—μ„œ μ œμ‹œλœ κ²°κ³ΌλŠ” TabArena-Lite 데이터셋을 기반으둜 ν•˜λ©°, λ‹€λ₯Έ μ’…λ₯˜μ˜ ν…Œμ΄λΈ” ν˜•μ‹ λ°μ΄ν„°λ‚˜ 더 λ³΅μž‘ν•œ μž‘μ—…μ— λŒ€ν•œ 좔가적인 검증이 ν•„μš”ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage