본 논문은 비지도 의미론적 이미지 분할(USS)에 대한 연합 학습(FL)의 적용을 탐구합니다. 기존 USS 방법들은 고정된 비전 기반 모델을 사용하여 픽셀 수준의 특징을 추출하고, 의미론적 그룹화를 유도하는 자기 지도 학습 목표를 통해 이를 개선합니다. 그런 다음 이러한 특징들은 의미론적 클러스터로 그룹화되어 분할 마스크를 생성합니다. 이러한 아이디어를 연합 학습 환경으로 확장하려면 분산된 클라이언트 간의 특징 표현과 클러스터 중심점 정렬이 필요하며, 이는 감독 없이 이기종 데이터 분포 하에서는 본질적으로 어려운 작업입니다. 이를 해결하기 위해 본 논문에서는 FUSS(Federated Unsupervised Semantic Segmentation)를 제안하는데, 이는 알려진 바로는 완전히 분산된, 레이블이 없는 의미론적 분할 학습을 가능하게 하는 최초의 프레임워크입니다. FUSS는 특징 및 프로토타입 공간에서 전역 일관성을 높이는 새로운 연합 전략을 도입하여 로컬 분할 헤드와 공유 의미론적 중심점을 공동으로 최적화합니다. 벤치마크 및 실제 데이터 세트에 대한 실험(이진 및 다중 클래스 분할 작업 포함) 결과, FUSS는 다양한 클라이언트 데이터 분포 하에서 로컬 전용 클라이언트 학습 및 기존 FL 알고리즘의 확장보다 일관되게 성능이 우수한 것을 보여줍니다. 재현성을 지원하기 위해 전체 코드는 원고 채택 후 공개될 예정입니다.
