본 논문은 건축 정보 모델링 및 컴퓨터 지원 설계 효율 향상을 위해 건물 외벽의 벽과 창문을 자동으로 분할하는 모델인 Segment Any Architectural Facades (SAAF)를 제안합니다. SAAF는 자연어 처리 기술을 활용하여 텍스트 설명의 의미 정보와 이미지 특징을 융합하는 다중 모드 의미 협업 특징 추출 메커니즘을 가지고 있습니다. 또한, 텍스트 설명에서 이미지 분할까지의 매핑 관계를 자율적으로 학습하는 엔드투엔드 학습 프레임워크를 개발하여 수동 개입의 영향을 줄이고 모델의 자동화 및 강건성을 향상시켰습니다. 다양한 외관 데이터셋에 대한 광범위한 실험 결과, SAAF는 기존 방법보다 mIoU 지표에서 우수한 성능을 보였으며, 다양한 데이터셋에서 높은 정밀도의 분할 능력을 유지함을 보여주었습니다. 이는 건축 컴퓨터 비전 기술 개발에 기여하고, 건축 분야에서 다중 모드 학습의 응용에 대한 새로운 아이디어와 기술 경로를 탐색하는 데 기여할 것으로 기대됩니다.
