Transformer 아키텍처는 다양한 작업과 모달리티에서 뛰어난 성능을 보이며, 토큰은 Transformer 기반 모델의 기본적인 정보 단위가 되었습니다. 본 연구에서는 토큰을 효율적이고 안정적으로 전송하는 방법을 연구합니다. 이미지나 비디오보다 더 복잡한 공간 구조를 가진 3차원 형식인 Point cloud를 정보 소스로 선택하고, set abstraction 방법을 사용하여 point 토큰을 얻습니다. 이후, 토큰 기반의 더 유익하고 전송 친화적인 표현을 얻기 위해, point 토큰을 표준 디지털 constellation point (modulated 토큰)에 매핑하는 Joint Semantic-Channel and Modulation (JSCCM) scheme을 제안합니다. JSCCM은 두 개의 병렬 Point Transformer 기반 인코더와 Gumel-softmax 및 soft quantization 방법을 결합한 differential modulator로 구성됩니다. 또한, semantic 정보와 채널 조건에 따라 고품질 modulated 토큰을 적응적으로 생성하는 rate allocator 및 channel adapter가 개발되었습니다.
