Whispers of Many Shores: Cultural Alignment through Collaborative Cultural Expertise
Created by
Haebom
저자
Shuai Feng, Wei-Chuang Chan, Srishti Chouhan, Junior Francisco Garcia Ayala, Srujananjali Medicherla, Kyle Clark, Mingwei Shi
개요
본 논문은 전 세계적인 응용 프로그램에 대규모 언어 모델(LLM)을 통합하기 위해 효과적인 문화적 정합이 중요함을 강조합니다. 기존 LLM은 다양한 문화적 맥락에 대한 미묘한 이해가 부족하며, 이를 적응시키는 데는 일반적으로 비용이 많이 드는 전체 미세 조정이 필요합니다. 이를 해결하기 위해, 본 논문에서는 효율적이고 모듈화된 문화적 정합을 가능하게 하는 새로운 소프트 프롬프트 미세 조정 프레임워크를 제시합니다. 이 방법은 벡터화된 프롬프트 조정을 사용하여 쿼리를 기본 모델의 매개변수를 변경하지 않고 소프트 프롬프트 임베딩을 최적화하여 생성된 문화적으로 특화된 '전문가' LLM 구성의 위원회로 동적으로 라우팅합니다. 광범위한 실험을 통해 본 프레임워크가 문화적 민감성과 적응성을 크게 향상시켜 정합 점수를 0.208에서 0.820으로 향상시키는 강력한 솔루션을 제공함을 보여줍니다. 이 연구는 향상된 문화적 적용 범위와 동적 전문가 적응에 대한 후속 연구의 길을 열어, 전 세계적으로 상호 연결된 세상에서 미묘한 이해를 갖춘 자율적인 AI를 실현하는 데 중요합니다.
시사점, 한계점
•
시사점:
◦
소프트 프롬프트 미세 조정을 통해 효율적이고 모듈화된 문화적 정합을 가능하게 하는 새로운 프레임워크 제시.
◦
기존 LLM의 문화적 민감성 및 적응성을 크게 향상시켜 정합 점수를 0.208에서 0.820으로 개선.
◦
기본 모델의 매개변수 변경 없이 문화적으로 특화된 '전문가' LLM 구성을 생성하여 비용 효율적인 솔루션 제공.
