# Symbolic Representation for Any-to-Any Generative Tasks

### 저자

Jiaqi Chen, Xiaoye Zhu, Yue Wang, Tianyang Liu, Xinhui Chen, Ying Chen, Chak Tou Leong, Yifei Ke, Joseph Liu, Yiwen Yuan, Julian McAuley, Li-jia Li

### 개요

본 논문은 임의의 다중 모달 작업을 구조화된 상징적 흐름으로 표현할 수 있는 상징적 생성 작업 설명 언어와 그에 상응하는 추론 엔진을 제안합니다. 대규모 훈련과 암시적 신경 표현에 의존하여 종종 높은 계산 비용과 제한된 유연성으로 교차 모달 매핑을 학습하는 기존의 생성 모델과 달리, 본 연구의 프레임워크는 함수, 매개변수, 위상 논리라는 세 가지 핵심 원시 개념으로 구성된 명시적 상징적 표현을 도입합니다. 사전 훈련된 언어 모델을 활용하여 추론 엔진은 자연어 지침을 훈련 없이 상징적 워크플로우로 직접 매핑합니다. 본 프레임워크는 12가지가 넘는 다양한 다중 모달 생성 작업을 성공적으로 수행하여 작업별 조정 없이 강력한 성능과 유연성을 입증합니다. 실험 결과, 본 방법은 콘텐츠 품질 측면에서 기존 최첨단 통합 모델과 동등하거나 능가할 뿐만 아니라 효율성, 편집 가능성 및 중단 가능성도 향상됨을 보여줍니다. 상징적 작업 표현은 생성 AI의 기능을 향상시키는 비용 효율적이고 확장 가능한 기반을 제공한다고 믿습니다.

### 시사점, 한계점

- **시사점:**

    - 훈련 없이 자연어 지침을 다중 모달 생성 작업으로 직접 매핑하는 효율적인 프레임워크 제시.

    - 기존 최첨단 모델과 비교하여 콘텐츠 품질 향상 및 효율성, 편집 가능성, 중단 가능성 증대.

    - 작업 특정 조정 없이 다양한 작업에 적용 가능한 유연성 확보.

    - 상징적 작업 표현을 활용하여 생성 AI의 기능 향상을 위한 비용 효율적이고 확장 가능한 기반 마련.

- **한계점:**

    - 제시된 프레임워크의 일반화 성능 및 다양한 복잡한 작업에 대한 적용 가능성에 대한 추가적인 연구 필요.

    - 사전 훈련된 언어 모델의 성능에 의존적인 부분 존재.

    - 상징적 표현의 복잡성과 관리의 어려움에 대한 고려 필요.

    - 특정 유형의 다중 모달 데이터에 대한 편향 가능성 존재.

[PDF 보기](https://arxiv.org/pdf/2504.17261)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).