Sign In

STRUCTSENSE: A Task-Agnostic Agentic Framework for Structured Information Extraction with Human-In-The-Loop Evaluation and Benchmarking

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Tek Raj Chhetri, Yibei Chen, Puja Trivedi, Dorota Jarecka, Saif Haobsh, Patrick Ray, Lydia Ng, Satrajit S. Ghosh

πŸ’‘ κ°œμš”

λ³Έ μ—°κ΅¬λŠ” λ³΅μž‘ν•˜κ³  전문적인 λΆ„μ•Όμ˜ κ³Όν•™ λ¬Έν—Œμ—μ„œ κ΅¬μ‘°ν™”λœ 정보λ₯Ό μΆ”μΆœν•˜λŠ” 데 LLM의 ν•œκ³„λ₯Ό κ·Ήλ³΅ν•˜κ³ μž ν•©λ‹ˆλ‹€. 이λ₯Ό μœ„ν•΄ 동쒅업계 μ „λ¬Έκ°€μ˜ 지식을 ν™œμš©ν•˜κ³ , μ—μ΄μ „νŠΈ 기반의 μžκ°€ 평가 및 κ°œμ„ , 인간 μ°Έμ—¬ 평가λ₯Ό ν†΅ν•©ν•œ 'StructSense'λΌλŠ” λͺ¨λ“ˆν™”λ˜κ³  μž‘μ—… 독립적인 ν”„λ ˆμž„μ›Œν¬λ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. StructSenseλŠ” λ‹€μ–‘ν•œ μˆ˜μ€€μ˜ 의미적 λ³΅μž‘μ„±μ„ 가진 μ„Έ 가지 μž‘μ—…μ—μ„œ 높은 정확도와 μΆ”κ°€ 정보 μΆ”μΆœ λŠ₯λ ₯을 보여주며, λ›°μ–΄λ‚œ μΌλ°˜ν™” μ„±λŠ₯κ³Ό 정보 투λͺ…성을 μž…μ¦ν–ˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
κ°•λ ₯ν•œ μΌλ°˜ν™” μ„±λŠ₯: StructSenseλŠ” 평가 도ꡬ, λ…Όλ¬Έ 메타데이터, μ‹ κ²½κ³Όν•™ λ¬Έν—Œ λ“± λ‹€μ–‘ν•œ 도메인과 μž‘μ—… λ³΅μž‘μ„±μ—μ„œ μΌκ΄€μ μœΌλ‘œ μš°μˆ˜ν•œ 정보 μΆ”μΆœ μ„±λŠ₯을 보여, νŠΉμ • μž‘μ—…μ— κ΅­ν•œλ˜μ§€ μ•ŠλŠ” κ°•λ ₯ν•œ μΌλ°˜ν™” λŠ₯λ ₯을 μž…μ¦ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
도메인 지식 및 인간 μ°Έμ—¬μ˜ 효과: μ˜¨ν†¨λ‘œμ§€ 기반의 상징적 지식 톡합과 인간 μ°Έμ—¬ 평가λ₯Ό 톡해 전문적인 도메인 지식이 μš”κ΅¬λ˜λŠ” 정보 μΆ”μΆœ μž‘μ—…μ—μ„œ LLM의 μ •ν™•μ„±κ³Ό 신뒰성을 크게 ν–₯μƒμ‹œν‚¬ 수 μžˆμŒμ„ λ³΄μ—¬μ€λ‹ˆλ‹€.
β€’
μ •λŸ‰μ  μ„±λŠ₯ 및 투λͺ…μ„±: μ œμ•ˆλœ ν”„λ ˆμž„μ›Œν¬λŠ” μ—¬λŸ¬ λ²€μΉ˜λ§ˆν¬μ—μ„œ 높은 정확도와 ν™•μž₯된 정보 μΆ”μΆœμ„ λ‹¬μ„±ν–ˆμœΌλ©°, 결과의 μΆœμ²˜μ™€ κ·Όκ±°λ₯Ό λͺ…ν™•νžˆ 좔적 κ°€λŠ₯ν•˜κ²Œ ν•˜μ—¬ μ—°κ΅¬μ˜ 투λͺ…성을 λ†’μ˜€μŠ΅λ‹ˆλ‹€.
β€’
정확도 ν–₯상을 μœ„ν•œ μΆ”κ°€ 연ꡬ ν•„μš”: 비둝 쒋은 μ„±λŠ₯을 λ³΄μ˜€μœΌλ‚˜, 특히 μ‹ κ²½κ³Όν•™ λ¬Έν—Œ NER μž‘μ—…μ—μ„œ λ ˆμ΄λΈ” 정확도가 58-75% μˆ˜μ€€μœΌλ‘œ, μ—„κ²©ν•œ κΈ°μ€€ 적용 μ‹œ 좔가적인 정확도 ν–₯상을 μœ„ν•œ 지속적인 연ꡬ와 κ°œμ„ μ΄ ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage