Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

More Agents Helps but Adversarial Robustness Gap Persists

Created by
  • Haebom
Category
Empty

저자

Khashayar Alavi, Zhastay Yeltay, Lucie Flek, Akbar Karimi

개요

LLM 에이전트 협업이 수학 문제 풀이 능력 향상에 기여하지만, 적대적 입력에 대한 강인성에도 긍정적인 영향을 미치는지에 대한 연구를 수행했습니다. 6개의 오픈 소스 모델(Qwen3-4B/14B, Llama3.1-8B, Mistral-7B, Gemma3-4B/12B)을 대상으로, 다양한 수의 에이전트(1~25명)를 활용하여, 구두점 노이즈(10, 30, 50%), 실제 및 인간형 오타(WikiTypo, R2ATA)를 포함한 적대적 입력을 사용하여 4개의 벤치마크(GSM8K, MATH, MMLU-Math, MultiArith)에서 평가했습니다.

시사점, 한계점

•
시사점:
◦
구두점 노이즈는 심각도에 따라 성능 저하를 유발합니다.
◦
인간형 오타는 여전히 주요 취약점이며, 다수의 에이전트를 사용하더라도 가장 큰 정확도 저하를 보입니다.
◦
에이전트 수(n)가 증가함에 따라 협업을 통해 정확도가 향상됩니다. 특히, 1명에서 5명으로 증가할 때 가장 큰 향상을 보이며, 10명 이상에서는 효과가 감소합니다.
•
한계점:
◦
적대적 강인성 격차는 에이전트 수에 관계없이 지속됩니다.
👍
Made with Slashpage