Sign In

Can VLMs Unlock Semantic Anomaly Detection? A Framework for Structured Reasoning

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Roberto Brusnicki, David Pop, Yuan Gao, Mattia Piccinini, Johannes Betz

πŸ’‘ κ°œμš”

λ³Έ 논문은 μžμœ¨μ£Όν–‰ μ‹œμŠ€ν…œμ˜ μž₯기적 희귀 이상 탐지λ₯Ό μœ„ν•œ μ‹œκ°-μ–Έμ–΄ λͺ¨λΈ(VLM)의 잠재λ ₯을 νƒκ΅¬ν•©λ‹ˆλ‹€. 이λ₯Ό μœ„ν•΄ VLM에 ꡬ애받지 μ•ŠλŠ” SAVANT(Semantic Anomaly Verification/Analysis Toolkit) ν”„λ ˆμž„μ›Œν¬λ₯Ό μ œμ•ˆν•˜λ©°, μ΄λŠ” 이상 탐지λ₯Ό 계측적 의미둠적 일관성 검증 문제둜 μž¬μ •μ˜ν•©λ‹ˆλ‹€. SAVANTλŠ” 두 λ‹¨κ³„μ˜ νŒŒμ΄ν”„λΌμΈ(κ΅¬μ‘°ν™”λœ μž₯λ©΄ μ„€λͺ… μΆ”μΆœ 및 닀쀑 λͺ¨λ‹¬ 평가)을 톡해 κΈ°μ‘΄ VLM의 이상 탐지 μ„±λŠ₯을 크게 ν–₯μƒμ‹œν‚΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
μ‹œμ‚¬μ  1: SAVANT ν”„λ ˆμž„μ›Œν¬λŠ” κΈ°μ‘΄ VLM에 λŒ€ν•œ μ•„λ“œν˜Ή(ad hoc) ν”„λ‘¬ν”„νŠΈ 방식을 λŒ€μ²΄ν•˜λŠ” κ΅¬μ‘°ν™”λœ 의미둠적 좔둠을 톡해 이상 탐지 μ„±λŠ₯을 μ²΄κ³„μ μœΌλ‘œ κ°œμ„ ν•  수 μžˆμŒμ„ λ³΄μ—¬μ€λ‹ˆλ‹€.
β€’
μ‹œμ‚¬μ  2: μ œμ•ˆλœ μ ‘κ·Ό 방식은 λŒ€κ·œλͺ¨ 데이터셋 μžλ™ λ ˆμ΄λΈ”λ§μ„ κ°€λŠ₯ν•˜κ²Œ ν•˜μ—¬, 희귀 이상 탐지 λΆ„μ•Όμ˜ 데이터 λΆ€μ‘± 문제λ₯Ό ν•΄κ²°ν•˜κ³  μ˜€ν”ˆ μ†ŒμŠ€ λͺ¨λΈμ˜ μ„±λŠ₯을 획기적으둜 ν–₯μƒμ‹œν‚€λŠ” 데 κΈ°μ—¬ν•©λ‹ˆλ‹€.
β€’
ν•œκ³„μ  λ˜λŠ” ν–₯ν›„ 과제: μ œμ•ˆλœ ν”„λ ˆμž„μ›Œν¬μ˜ λ³΅μž‘μ„±μ΄λ‚˜ λ‹€μ–‘ν•œ VLM과의 ν˜Έν™˜μ„±, λ˜λŠ” μ‹€μ œ λ„λ‘œ ν™˜κ²½μ—μ„œμ˜ κ΄‘λ²”μœ„ν•œ 검증 및 λ‹€λ₯Έ μ’…λ₯˜μ˜ 이상 상황에 λŒ€ν•œ 적용 κ°€λŠ₯성에 λŒ€ν•œ 좔가적인 연ꡬ가 ν•„μš”ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage