본 논문은 산업 작업 환경에서 작업자의 행동, 안전, 생산성을 비용 효율적으로 평가하기 위한 인간 동작 시뮬레이션(HMS)의 품질 향상을 목표로 Generative-AI-Enabled HMS (G-AI-HMS)를 제시합니다. G-AI-HMS는 텍스트-투-텍스트 및 텍스트-투-모션 모델을 통합하여 물리적 작업에 대한 시뮬레이션 품질을 향상시킵니다. 주요 과제는 (1) 작업 설명을 MotionGPT의 어휘와 정렬된 대규모 언어 모델을 사용하여 동작 인식 언어로 변환하고, (2) 컴퓨터 비전을 사용하여 AI로 향상된 동작을 실제 인간의 움직임과 검증하는 것입니다. 실시간 비디오에 자세 추정 알고리즘을 적용하여 관절 랜드마크를 추출하고, 동작 유사성 측정 기준을 사용하여 AI로 향상된 시퀀스와 비교합니다. 8가지 작업에 대한 사례 연구에서 AI로 향상된 동작은 대부분의 시나리오에서 사람이 만든 설명보다 오류가 적었으며, 공간 정확도 기준 6가지 작업, 자세 정규화 후 정렬 기준 4가지 작업, 전체 시간적 유사성 기준 7가지 작업에서 더 나은 성능을 보였습니다. 통계 분석 결과, AI로 향상된 프롬프트는 관절 오류와 시간적 정렬 오류를 유의미하게(p < 0.0001) 감소시키면서 비교 가능한 자세 정확도를 유지했습니다.
