Enhancing Building Semantics Preservation in AI Model Training with Large Language Model Encodings

Created by

Haebom

저자

Suhyung Jang, Ghang Lee, Jaekun Lee, Hyunjun Lee

💡 개요

본 연구는 건축, 엔지니어링, 건설 및 운영(AECO) 산업에서 AI 모델 학습 시 빌딩의 미묘한 의미론적 관계를 효과적으로 보존하기 위한 새로운 접근 방식을 제안합니다. 제안된 방법은 GPT나 LLaMA와 같은 대규모 언어 모델(LLM)의 임베딩을 인코딩으로 사용하여 기존 원-핫(one-hot) 방식의 한계를 극복하고자 합니다. 실험 결과, LLM 임베딩을 사용한 GraphSAGE 모델이 원-핫 인코딩 기반 모델보다 빌딩 객체 하위 유형 분류에서 더 높은 성능을 보였습니다.

🔑 시사점 및 한계

•

LLM 임베딩을 활용하면 빌딩의 복잡하고 세분화된 의미론적 정보를 AI 모델이 더 잘 이해하고 활용할 수 있습니다.

•

Matryoshka 표현 모델과 같은 차원 축소 기술을 통해 고차원 LLM 임베딩을 효과적으로 압축하여 활용할 수 있습니다.

•

LLM 임베딩의 성능은 모델 및 임베딩 차원에 따라 달라질 수 있으며, AECO 도메인의 특성에 맞는 최적의 임베딩 전략 탐색이 필요합니다.

•

향후 LLM의 발전과 차원 축소 기술의 진화에 따라 AECO 산업 전반의 의미론적 작업에 대한 적용 가능성이 더욱 확대될 것으로 기대됩니다.

PDF 보기

Made with Slashpage