Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Beyond Least Squares: Robust Regression Transformer (R2T)

Created by
  • Haebom

저자

Roman Gutierrez, Tony Kai Tang, Isabel Gutierrez

개요

비대칭 구조적 노이즈가 존재하는 상황에서 기존의 최소 제곱법 기반 강건 회귀 기법의 한계를 극복하기 위해, 트랜스포머 인코더, 압축 신경망, 그리고 고정된 심볼릭 방정식으로 구성된 하이브리드 신경-심볼 아키텍처를 제안합니다. 합성 데이터를 사용하여 비대칭 구조적 노이즈 추가 후 원래 시퀀스를 복원하는 것을 학습 목표로 설정하여, 신경망을 통한 파라미터 추정으로 유도되는 심볼릭 피팅을 학습합니다. 합성 웨어러블 데이터에 대한 실험 결과, 제안된 모델은 중앙값 회귀 MSE가 6e-6에서 3.5e-5로, 최소 제곱법 및 Huber 손실이나 SoftL1과 같은 강건 회귀 기법에 비해 10배에서 300배까지 성능 향상을 보였습니다.

시사점, 한계점

시사점: 비대칭 구조적 노이즈가 있는 데이터에 대한 강건한 회귀 모델을 제시하여 기존 방법보다 훨씬 향상된 성능을 달성했습니다. 신경망과 심볼릭 방정식의 하이브리드 접근 방식은 복잡한 패턴을 효과적으로 모델링하는 새로운 가능성을 제시합니다.
한계점: 현재는 합성 데이터에 대한 실험 결과만 제시되었으며, 실제 데이터셋에 대한 성능 검증이 필요합니다. 모델의 일반화 성능 및 다양한 유형의 노이즈에 대한 강건성에 대한 추가적인 연구가 필요합니다. 심볼릭 방정식의 선택이 모델 성능에 미치는 영향에 대한 분석이 부족합니다.
👍