haebom
Sign In

NL2SQLBench: A Modular Benchmarking Framework for LLM-Enabled NL2SQL Solutions

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Shizheng Hou, Wenqi Pei, Nuo Chen, Quang-Trung Ta, Peng Lu, Beng Chin Ooi

πŸ’‘ κ°œμš”

λ³Έ 논문은 λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈ(LLM) 기반의 μžμ—°μ–΄-SQL(NL2SQL) 기술의 효과적인 평가λ₯Ό μœ„ν•œ 졜초의 λͺ¨λ“ˆν˜• λ²€μΉ˜λ§ˆν‚Ή ν”„λ ˆμž„μ›Œν¬μΈ NL2SQLBenchλ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. NL2SQL μ‹œμŠ€ν…œμ„ μŠ€ν‚€λ§ˆ 선택, 후보 생성, 쿼리 μˆ˜μ •μ˜ μ„Έ 가지 핡심 λͺ¨λ“ˆλ‘œ λΆ„ν•΄ν•˜κ³ , 각 λͺ¨λ“ˆμ˜ νš¨μœ¨μ„±κ³Ό νš¨κ³Όμ„±μ„ μΈ‘μ •ν•˜λŠ” μƒˆλ‘œμš΄ λ―Έμ„Έ μ§€ν‘œλ₯Ό κ°œλ°œν–ˆμŠ΅λ‹ˆλ‹€. 이 ν”„λ ˆμž„μ›Œν¬λ₯Ό 톡해 10가지 μ˜€ν”ˆ μ†ŒμŠ€ NL2SQL 방법둠을 ν‰κ°€ν•œ κ²°κ³Ό, κΈ°μ‘΄ λ°©λ²•λ‘ μ˜ 정확도 κ°œμ„  여지와 μ‹¬κ°ν•œ 계산 λΉ„νš¨μœ¨μ„±μ„ λ°œκ²¬ν–ˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
LLM 기반 NL2SQL 기술의 λͺ¨λ“ˆλ³„ μ„±λŠ₯을 μ²΄κ³„μ μœΌλ‘œ ν‰κ°€ν•˜κ³  비ꡐ할 수 μžˆλŠ” ν‘œμ€€ν™”λœ 방법둠을 μ œμ‹œν•©λ‹ˆλ‹€.
β€’
κΈ°μ‘΄ NL2SQL λ°©λ²•λ‘ μ˜ 정확도와 계산 νš¨μœ¨μ„± μΈ‘λ©΄μ—μ„œμ˜ ν•œκ³„λ₯Ό λͺ…ν™•νžˆ λ“œλŸ¬λ‚΄μ–΄ ν–₯ν›„ 연ꡬ λ°©ν–₯을 μ œμ‹œν•©λ‹ˆλ‹€.
β€’
ν˜„μž¬ 벀치마크 λ°μ΄ν„°μ…‹μ˜ κΈˆλ³Έμœ„ SQL μ£Όμ„μ˜ λΆ€μ •ν™•μ„± 및 평가 κ·œμΉ™μ˜ ν•œκ³„μ μ„ μ§€μ ν•˜λ©°, 데이터셋 및 평가 방식 κ°œμ„ μ˜ ν•„μš”μ„±μ„ κ°•μ‘°ν•©λ‹ˆλ‹€.
PDF 보기
πŸ‘
Made with Slashpage