본 논문은 다양한 비구조적 텍스트 이해 작업에서 뛰어난 성능을 보이는 대규모 언어 모델(LLM)이 특별한 훈련 없이도 표(구조적) 이해 작업을 수행할 수 있다는 사실에 기반하여 연구를 진행했습니다. 연구에서는 다양한 증강 및 섭동 하에 Wikipedia 기반 WTQ, 금융 TAT-QA, 과학 SCITAB 등 다양한 도메인에서 LLM을 테스트하여 문맥 내 학습(ICL), 모델 규모, 지시어 튜닝, 도메인 편향이 표 형식 질의응답(TQA) 강건성에 미치는 영향을 조사했습니다. 지시어 튜닝과 더 크고 최신의 LLM이 더 강력하고 견고한 TQA 성능을 제공하지만, 특히 WTQ에서 데이터 오염 및 신뢰성 문제는 해결되지 않은 채 남아있습니다. 심층적인 어텐션 분석을 통해 섭동으로 인한 어텐션 분산 변화와 성능 저하 사이에 강한 상관관계가 있음을 밝혔으며, 민감도는 모델의 중간 레이어에서 최고조에 달했습니다. 표 데이터에 대한 LLM의 투명성, 일반화 및 실제 세계 신뢰성을 향상시키기 위해 구조 인식 자기 어텐션 메커니즘과 도메인 적응형 처리 기술 개발의 필요성을 강조합니다.
