본 논문은 고품질의 어노테이션 데이터 확보에 어려움이 있는 픽셀 단위 비전 작업(예: 의미론적 분할)에서, 레이블 부족 문제를 해결하기 위해 기초 분할 모델을 활용하는 준지도 의미론적 분할(SSSS) 기법을 제안합니다. 특히, 텍스트 입력에 미세 조정된 Segment Anything Model(SAM) 변형인 SEEM을 사용하여 레이블이 없는 데이터에 대한 예측 마스크를 생성합니다. SEEM 생성 마스크의 단점을 해결하기 위해, ConformalSAM이라는 새로운 SSSS 프레임워크를 제안하는데, 이는 대상 도메인의 레이블이 있는 데이터를 사용하여 기초 모델을 보정하고, 신뢰할 수 없는 픽셀 레이블을 필터링하여 고신뢰도 레이블만을 지도 학습에 사용합니다. 구체적으로, Conformal Prediction(CP)을 활용하여 기초 모델을 대상 데이터에 적응시키고, 초기 학습 단계에서는 기초 모델의 강력한 성능을 활용하며, 후기 학습 단계에서는 SEEM 생성 마스크에 대한 과적합을 완화하는 자기 의존적 학습 전략을 사용합니다. 실험 결과, 세 가지 표준 SSSS 벤치마크에서 ConformalSAM은 최근 SSSS 방법보다 우수한 성능을 달성하고, 플러그인으로써 다른 방법들의 성능 향상에도 기여함을 보여줍니다.
