Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Sparse Interpretable Deep Learning with LIES Networks for Symbolic Regression

Created by
  • Haebom

저자

Mansooreh Montazerin, Majd Al Aawar, Antonio Ortega, Ajitesh Srivastava

개요

본 논문은 기존의 심볼릭 회귀(SR) 방법들의 확장성 및 일관성 문제를 해결하기 위해, 해석 가능한 기본 활성화 함수를 갖는 고정된 신경망 구조인 LIES(Logarithm, Identity, Exponential, Sine)를 제시한다. LIES는 과대 샘플링 전략과 희소성을 증진하고 기울기 불안정성을 방지하는 맞춤형 손실 함수를 사용하여 훈련되며, 추가적인 가지치기 전략을 통해 학습된 표현식을 간결한 공식으로 단순화한다. 실험 결과, LIES는 기존 방법들보다 우수한 성능을 보이며, 희소하고 정확한 심볼릭 공식을 생성하는 것을 확인하였다. 또한, ablation study를 통해 각 설계 구성 요소의 중요성을 보여준다.

시사점, 한계점

시사점:
기존 심볼릭 회귀 방법들의 한계인 확장성과 일관성 문제를 해결하는 새로운 접근 방식 제시
해석 가능하고 정확하며 희소한 심볼릭 공식을 생성하는 LIES 프레임워크 개발
과대 샘플링 전략 및 맞춤형 손실 함수를 통한 효과적인 훈련 방법 제시
추가적인 가지치기 전략을 통한 공식 단순화
다양한 SR 벤치마크에서 우수한 성능 검증
한계점:
LIES의 고정된 신경망 구조가 모든 종류의 심볼릭 표현을 효과적으로 모델링할 수 있는지에 대한 추가적인 연구 필요
더 복잡하고 다차원적인 데이터에 대한 성능 평가 필요
제안된 방법의 일반화 성능에 대한 추가적인 실험 필요
특정 함수 집합(Logarithm, Identity, Exponential, Sine)에 국한된 표현력의 제약
👍