Orthogonal Monte Carlo Dropout은 추가적인 시간 복잡성 없이 희소 의미 벡터를 결합할 때 엄격한 직교성을 적용하는 메커니즘을 제안합니다. 대형 모델의 미세 조정을 위한 인기 있는 방법인 Low-Rank Adaptation (LoRA)은 일반적으로 객체 또는 스타일과 같은 특정 개념을 나타내도록 모듈을 훈련합니다. 여러 LoRA 모듈이 병합될 때, 예를 들어 특정 스타일로 객체를 생성하기 위해, 해당 출력(의미 벡터)이 서로 간섭할 수 있습니다. 본 방법은 병합된 LoRA 모듈이 직교성을 유지하여 직접적인 간섭을 받지 않도록 보장합니다. 그러나 실제 분석 결과, 이러한 직교성이 이전의 합성 적응 연구에서 강조된 의미론적 분리를 이끌어내지는 못했습니다. 이는 LoRA 간 직교성만으로는 진정한 의미론적 구성 가능성을 달성하기에 충분하지 않을 수 있음을 시사하며, 어댑터 병합에서 그 역할에 대한 재검토를 촉구합니다.
