본 연구는 생성형 대규모 언어 모델(LLM)의 비교를 위한 새로운 프레임워크인 일관성 중심 유사도 비교 프레임워크(ConSCompF)를 제안합니다. ConSCompF는 두 개의 LLM이 생성한 텍스트를 비교하여 유사도 점수를 산출하며, 소량의 비표지 데이터만으로도 작동하고 LLM 개발자가 제품 정보를 공개할 필요가 없다는 장점이 있습니다. 연구에서는 여러 LLM 간의 유사성을 식별하고, ConSCompF의 유사도 점수와 ROUGE-L과 같은 다른 벤치마킹 기법의 결과 간의 상관관계를 분석하는 두 가지 실험을 수행했습니다. 또한, 소량의 데이터를 사용한 LLM 비교 실험을 통해 ConSCompF의 성능을 평가했습니다. ConSCompF는 여러 LLM의 유사도 행렬을 계산하는 데 사용될 수 있으며, 주성분 분석(PCA)을 통해 효과적으로 시각화될 수 있습니다. ConSCompF의 결과는 LLM 훈련에 사용된 데이터에 대한 통찰력을 제공하고 투자 사기 시도를 감지하는 데 도움이 될 수 있습니다.
