Positional Encoding
T
TikaToka
- LLM
처음 Transformer가 나왔을 때는 Cos, Sin을 이용하여 위치를 나타내었다.
https://www.scaler.com/topics/nlp/positional-encoding/
최근에는 좀 더 다양한 방법론이 존재한다.
1.
Rotary Position Embedding (RoPE)
RoPE는 회전 행렬을 사용하여 절대적 위치를 인코딩하고, 셀프 어텐션 공식에 상대적 위치 종속성을 통합하는 방법이다. 이 방법은 시퀀스 길이 유연성을 가지고 있으며, 상대적 거리가 증가함에 따라 토큰 간 종속성이 감소한다.
RoPE는 회전 행렬을 사용하여 절대적 위치를 인코딩하고, 셀프 어텐션 공식에 상대적 위치 종속성을 통합하는 방법이다. 이 방법은 시퀀스 길이 유연성을 가지고 있으며, 상대적 거리가 증가함에 따라 토큰 간 종속성이 감소한다.
2.
Contextual Position Encoding (CoPE)
CoPE는 위치를 문맥에 따라 조건부로 설정하는 새로운 방법이다. 이 방법은 특정 토큰에서만 위치를 증가시켜 문맥에 따라 위치를 조절할 수 있으며, 이는 언어 모델링과 코딩 작업의 복잡성을 개선할 수 있다. CoPE는 일반적인 위치 인코딩 방법보다 더 높은 수준의 위치 추상화를 나타낼 수 있습니다.
CoPE는 위치를 문맥에 따라 조건부로 설정하는 새로운 방법이다. 이 방법은 특정 토큰에서만 위치를 증가시켜 문맥에 따라 위치를 조절할 수 있으며, 이는 언어 모델링과 코딩 작업의 복잡성을 개선할 수 있다. CoPE는 일반적인 위치 인코딩 방법보다 더 높은 수준의 위치 추상화를 나타낼 수 있습니다.
3.
Conditional Positional Encoding (CPE)
CPE는 비전 트랜스포머(Vision Transformers)에서 사용되는 새로운 접근 방식이다. 이 방법은 트레이닝과 인퍼런스에서 해상도 크기가 달라도 동적으로 적응할 수 있으며, 상대적 위치 인코딩의 이론을 가져가면서도 절대적 위치의 능력을 유지한다. 이는 이미지 해상도 변경에 따른 동적 변화를 처리할 수 있다는 장점이 있다.
CPE는 비전 트랜스포머(Vision Transformers)에서 사용되는 새로운 접근 방식이다. 이 방법은 트레이닝과 인퍼런스에서 해상도 크기가 달라도 동적으로 적응할 수 있으며, 상대적 위치 인코딩의 이론을 가져가면서도 절대적 위치의 능력을 유지한다. 이는 이미지 해상도 변경에 따른 동적 변화를 처리할 수 있다는 장점이 있다.
4.
Relative Position Encoding
Relative Position Encoding은 상대적 위치 정보를 학습 가능한 임베딩 층을 통해 처리하는 방법이다. 이 방법은 각 위치 정보를 학습하여 lookup table 형식으로 신경망에 전달하며, 상대적 위치를 알게 된 정보를 이용하여 임베딩 테이블을 만들어 주는 방식을 사용한다.
Relative Position Encoding은 상대적 위치 정보를 학습 가능한 임베딩 층을 통해 처리하는 방법이다. 이 방법은 각 위치 정보를 학습하여 lookup table 형식으로 신경망에 전달하며, 상대적 위치를 알게 된 정보를 이용하여 임베딩 테이블을 만들어 주는 방식을 사용한다.
