Structural Deep Encoding for Table Question Answering
Created by
- Haebom
Category
Empty
저자
Raphael Mouravieff, Benjamin Piwowarski, Sylvain Lamprier
개요
본 논문은 Transformer 기반 아키텍처를 표 형태의 데이터에 적용할 때 발생하는 문제점, 즉 표 구조의 단순화로 인한 행, 열, 셀 간의 상호 의존성 상실 및 대규모 표에 대한 확장성 문제를 다룹니다. 기존 연구에서 특수 토큰, 구조화된 임베딩, 그리고 희소 어텐션 패턴 등이 제시되었으나, 본 논문에서는 표 데이터 인코딩 기법에 대한 종합적인 분석을 통해 희소 어텐션의 중요성을 강조합니다. 특히, 계산 효율성을 높이고 구조적 무결성을 유지하여 전반적인 성능을 향상시키는 새로운 희소 어텐션 마스크 설계를 제안합니다.
시사점, 한계점
•
시사점:
◦
표 형태 데이터 처리에 있어 희소 어텐션의 중요성을 재확인하고, 그 효과적인 적용 방안을 제시합니다.
◦
새로운 희소 어텐션 마스크 설계를 통해 Transformer 기반 모델의 계산 효율성과 성능을 향상시킬 수 있음을 보여줍니다.
◦
표 구조 정보를 효과적으로 활용하는 새로운 표 데이터 인코딩 전략을 제시합니다.
•
한계점:
◦
제안된 희소 어텐션 마스크의 일반화 가능성 및 다양한 유형의 표 데이터에 대한 적용성에 대한 추가적인 연구가 필요합니다.
◦
제안된 방법의 성능 비교에 사용된 데이터셋의 다양성 및 규모에 대한 자세한 설명이 부족합니다.
◦
실제 대규모 표 데이터에 대한 확장성 평가가 부족할 수 있습니다.
