본 논문은 사전 훈련된 언어 모델을 하위 작업에 적용하는 매개변수 효율적인 미세 조정 방법이 잡음이 많은 데이터의 간섭에 취약하다는 문제를 해결하기 위해, 비대칭 LoRA poisoning expert (LoPE)라는 새로운 프레임워크를 제안합니다. LoPE는 혼합 전문가 아키텍처에서 영감을 받아, 전용 poisoning expert를 비대칭 LoRA 구성으로 전략적으로 통합합니다. 두 단계 과정을 통해 미세 조정 중 poisoning expert에 잡음을 주입하여 잡음 식별 및 처리 능력을 향상시키고, 추론 시에는 전용 poisoning expert를 선택적으로 마스킹하여 정제된 지식을 활용하여 잡음에 강한 출력을 생성합니다. 기존의 잡음 처리 방식과 달리 데이터 전처리 또는 모델 아키텍처 수정 없이, 생성된 잡음 데이터만을 사용하여 모델의 잡음 저항성을 강화합니다.
시사점, 한계점
•
시사점:
◦
데이터 전처리 없이 저렴한 비용으로 잡음에 강한 언어 모델 미세 조정을 가능하게 합니다.
◦
기존의 잡음 처리 방법보다 효율적이고 오류 축적이 적습니다.
◦
혼합 전문가 아키텍처와 비대칭 LoRA를 효과적으로 결합하여 성능과 강건성을 향상시킵니다.
•
한계점:
◦
LoPE의 성능은 생성된 잡음 데이터의 질에 의존할 수 있습니다. 적절하지 않은 잡음 데이터는 오히려 성능 저하를 야기할 수 있습니다.
◦
현재 제시된 방법이 모든 종류의 잡음 데이터에 대해 효과적인지에 대한 추가적인 연구가 필요합니다.
