Sign In

COCO-Inpaint: A Benchmark for Detecting and Localizing Inpainting-Based Image Manipulations

์ž‘์„ฑ์ž
  • Haebom
์นดํ…Œ๊ณ ๋ฆฌ
Empty

์ €์ž

Haozhen Yan, Yan Hong, Jiahui Zhan, Suning Lang, Yikun Ji, Huijia Zhu, Jun Lan, Jianfu Zhang

๐Ÿ’ก ๊ฐœ์š”

์ตœ๊ทผ ์ด๋ฏธ์ง€ ์กฐ์ž‘ ๊ธฐ์ˆ ์˜ ๋ฐœ์ „์œผ๋กœ ์‚ฌ์‹ค์ ์ธ ์ฝ˜ํ…์ธ  ์ƒ์„ฑ์ด ๊ฐ€๋Šฅํ•ด์กŒ์ง€๋งŒ, ๋™์‹œ์— ๋ฉ€ํ‹ฐ๋ฏธ๋””์–ด ์œ„๋ณ€์กฐ์— ๋Œ€ํ•œ ์šฐ๋ ค๋„ ์ปค์ง€๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๊ธฐ์กด ์ด๋ฏธ์ง€ ์กฐ์ž‘ ํƒ์ง€ ๋ฐ ๊ตญ์†Œํ™”(IMDL) ์—ฐ๊ตฌ๋Š” ์ฃผ๋กœ ๋ณต์ œ-์ด๋™ ๋˜๋Š” ํ•ฉ์„ฑ ์กฐ์ž‘์— ์ดˆ์ ์„ ๋งž์ถ”์—ˆ์œผ๋‚˜, ์ฑ„์›Œ๋„ฃ๊ธฐ(inpainting) ๊ธฐ๋ฐ˜ ์กฐ์ž‘์— ๋Œ€ํ•œ ๋ฒค์น˜๋งˆํฌ๋Š” ๋ถ€์กฑํ–ˆ์Šต๋‹ˆ๋‹ค. ๋ณธ ๋…ผ๋ฌธ์€ ์ตœ์‹  ์ฑ„์›Œ๋„ฃ๊ธฐ ๋ชจ๋ธ๋กœ ์ƒ์„ฑ๋œ ๊ณ ํ’ˆ์งˆ ์ƒ˜ํ”Œ, ๋‹ค์–‘ํ•œ ๋งˆ์Šคํฌ ์ƒ์„ฑ ์ „๋žต ๋ฐ ํ…์ŠคํŠธ ์•ˆ๋‚ด๋ฅผ ํฌํ•จํ•œ ์‹œ๋‚˜๋ฆฌ์˜ค, ํ’๋ถ€ํ•œ ์˜๋ฏธ๋ก ์  ๋‹ค์–‘์„ฑ์„ ๊ฐ€์ง„ ๋Œ€๊ทœ๋ชจ ์ฑ„์›Œ๋„ฃ๊ธฐ ์ด๋ฏธ์ง€๋กœ ๊ตฌ์„ฑ๋œ COCO-Inpaint ๋ฒค์น˜๋งˆํฌ๋ฅผ ์ œ์•ˆํ•˜์—ฌ ์ด ๊ฒฉ์ฐจ๋ฅผ ํ•ด์†Œํ•˜๊ณ ์ž ํ•ฉ๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
์ฑ„์›Œ๋„ฃ๊ธฐ ์กฐ์ž‘ ํƒ์ง€ ๋ฐ ๊ตญ์†Œํ™” ์—ฐ๊ตฌ ํ™œ์„ฑํ™”: COCO-Inpaint ๋ฒค์น˜๋งˆํฌ๋Š” ์ฑ„์›Œ๋„ฃ๊ธฐ ๊ธฐ๋ฐ˜ ์ด๋ฏธ์ง€ ์กฐ์ž‘ ํƒ์ง€ ๋ฐ ๊ตญ์†Œํ™” ์—ฐ๊ตฌ๋ฅผ ์œ„ํ•œ ํ‘œ์ค€ํ™”๋œ ํ™˜๊ฒฝ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
โ€ข
๋ฏธ๋ฌ˜ํ•œ ์กฐ์ž‘ ํ”์  ํƒ์ง€์— ์ง‘์ค‘: ๊ฐ์ฒด ํ˜•ํƒœ์™€ ๊ฐ™์€ ํ”ผ์ƒ์ ์ธ ์˜๋ฏธ๋ก ์  ํ”์ ์ด ์•„๋‹Œ, ์ฑ„์›Œ๋„ฃ๊ธฐ๋œ ์˜์—ญ๊ณผ ์›๋ณธ ์˜์—ญ ๊ฐ„์˜ ๋‚ด์žฌ์ ์ธ ๋ถˆ์ผ์น˜๋ฅผ ํƒ์ง€ํ•˜๋Š” ๋ฐฉ๋ฒ•๋ก  ๊ฐœ๋ฐœ์„ ์žฅ๋ คํ•ฉ๋‹ˆ๋‹ค.
โ€ข
๊ธฐ์กด IMDL ๋ฐฉ๋ฒ•๋ก ์˜ ํ•œ๊ณ„ ๋…ธ์ถœ ๋ฐ ํ–ฅํ›„ ์—ฐ๊ตฌ ๋ฐฉํ–ฅ ์ œ์‹œ: ์ œ์•ˆ๋œ ๋ฒค์น˜๋งˆํฌ์™€ ์—„๊ฒฉํ•œ ํ‰๊ฐ€ ํ”„๋กœํ† ์ฝœ์„ ํ†ตํ•ด ๊ธฐ์กด IMDL ๋ฐฉ๋ฒ•๋ก ์˜ ์„ฑ๋Šฅ์„ ๊ฐ๊ด€์ ์œผ๋กœ ํ‰๊ฐ€ํ•˜๊ณ , ์ฑ„์›Œ๋„ฃ๊ธฐ ์กฐ์ž‘ ํƒ์ง€์— ๋Œ€ํ•œ ํ˜„์žฌ ๋™ํ–ฅ๊ณผ ๋„์ „ ๊ณผ์ œ๋ฅผ ๋ฐํžˆ๋ฉฐ ํ–ฅํ›„ ์—ฐ๊ตฌ ๋ฐฉํ–ฅ์„ ์ œ์‹œํ•ฉ๋‹ˆ๋‹ค.
๐Ÿ‘