OSS-UAgent는 오픈소스 소프트웨어(OSS)의 사용성 평가를 자동화하기 위해 대규모 언어 모델(LLM) 기반의 지능형 에이전트를 활용하는 프레임워크입니다. 기존의 사람 평가자 기반 방법의 높은 비용과 확장성 한계를 극복하기 위해 개발되었으며, 주니어부터 전문가까지 다양한 경험 수준의 개발자를 시뮬레이션하여 프로그래밍 작업을 수행하고, 플랫폼별 지식베이스를 동적으로 구축하여 정확하고 맥락에 맞는 코드 생성을 보장합니다. 생성된 코드는 준수성, 정확성, 가독성 등 여러 측면에서 자동 평가되어 소프트웨어의 사용성을 종합적으로 측정합니다. 본 논문에서는 그래프 분석 플랫폼 평가에 대한 OSS-UAgent의 실제 적용 사례를 보여줍니다.
시사점, 한계점
•
시사점:
◦
오픈소스 소프트웨어의 사용성 평가 비용 및 시간을 절감할 수 있습니다.
◦
대규모의 OSS 사용성 평가를 효율적으로 수행할 수 있습니다.
◦
다양한 경험 수준의 개발자 시뮬레이션을 통해 더욱 포괄적인 평가가 가능합니다.
◦
자동화된 평가를 통해 객관적인 사용성 측정이 가능합니다.
•
한계점:
◦
LLM의 성능에 의존적이며, LLM의 한계가 OSS-UAgent의 정확성에 영향을 미칠 수 있습니다.
