Sign In

Toward General Semantic Chunking: A Discriminative Framework for Ultra-Long Documents

Created by
  • Haebom
Category
Empty

μ €μž

Kaifeng Wu, Junyan Wu, Qiang Liu, Jiarui Zhang, Wen Xu

πŸ’‘ κ°œμš”

이 논문은 맀우 κΈ΄ λ¬Έμ„œμ—μ„œ 주제λ₯Ό 효과적으둜 λΆ„ν• ν•˜λŠ” 문제λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•΄ Qwen3-0.6B λͺ¨λΈμ„ 기반으둜 ν•˜λŠ” μƒˆλ‘œμš΄ νŒλ³„μ  λΆ„ν•  λͺ¨λΈμ„ μ œμ•ˆν•©λ‹ˆλ‹€. μ œμ•ˆλœ λͺ¨λΈμ€ λ¬Έλ§₯ μœ΅ν•© λ ˆμ΄μ–΄μ™€ μŠ¬λΌμ΄λ”© μœˆλ„μš° μ „λž΅μ„ κ²°ν•©ν•˜μ—¬ μ΅œλŒ€ 13k ν† ν°μ˜ 단일 톡과 μž…λ ₯을 μ§€μ›ν•˜λ©°, 초μž₯λ¬Έ λ¬Έμ„œμ— λŒ€ν•œ 단락 경계 탐지λ₯Ό ν™•μž₯ν•  수 μžˆμŠ΅λ‹ˆλ‹€. λ˜ν•œ, 검색 νš¨μœ¨μ„±μ„ 높이기 μœ„ν•΄ 의미 손싀 없이 초μž₯λ¬Έ μ„Έκ·Έλ¨ΌνŠΈμ˜ ν‘œν˜„μ„ 단일 λ²‘ν„°λ‘œ μ••μΆ•ν•˜λŠ” 벑터 μœ΅ν•© 방법을 κ°œλ°œν–ˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
초μž₯λ¬Έ λ¬Έμ„œμ—μ„œλ„ 효율적이고 μ •ν™•ν•˜κ²Œ 주제λ₯Ό λΆ„ν• ν•  수 μžˆλŠ” μƒˆλ‘œμš΄ νŒλ³„μ  ν”„λ ˆμž„μ›Œν¬λ₯Ό μ œμ‹œν•˜μ—¬ κΈ°μ‘΄ λ°©λ²•λ‘ μ˜ ν•œκ³„λ₯Ό κ·Ήλ³΅ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ 벑터 μœ΅ν•© 방법은 초μž₯λ¬Έ λ¬Έμ„œμ˜ 검색 νš¨μœ¨μ„±μ„ 크게 ν–₯μƒμ‹œν‚€λ©΄μ„œλ„ 의미 손싀을 μ΅œμ†Œν™”ν•©λ‹ˆλ‹€.
β€’
더 κΈ΄ λ¬Έμ„œμ— λŒ€ν•œ 지원 ν™•μž₯, λ‹€μ–‘ν•œ λ„λ©”μΈμ—μ„œμ˜ μ„±λŠ₯ 검증, 그리고 μ œμ•ˆλœ λ°©λ²•λ‘ μ˜ 좔가적인 μ΅œμ ν™” 및 κ°œμ„ μ΄ ν–₯ν›„ 연ꡬ 과제둜 λ‚¨μ•„μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage