Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Virtual Width Networks

Created by
  • Haebom
Category
Empty

저자

Seed, Baisheng Li, Banggu Wu, Bole Ma, Bowen Xiao, Chaoyi Zhang, Cheng Li, Chengyi Wang, Chenyin Xu, Chi Zhang, Chong Hu, Daoguang Zan, Defa Zhu, Dongyu Xu, Du Li, Faming Wu, Fan Xia, Ge Zhang, Guang Shi, Haobin Chen, Hongyu Zhu, Hongzhi Huang, Huan Zhou, Huanzhang Dou, Jianhui Duan, Jianqiao Lu, Jianyu Jiang, Jiayi Xu, Jiecao Chen, Jin Chen, Jin Ma, Jing Su, Jingji Chen, Jun Wang, Jun Yuan, Juncai Liu, Jundong Zhou, Kai Hua, Kai Shen, Kai Xiang, Kaiyuan Chen, Kang Liu, Ke Shen, Liang Xiang, Lin Yan, Lishu Luo, Mengyao Zhang, Ming Ding, Mofan Zhang, Nianning Liang, Peng Li, Penghao Huang, Pengpeng Mu, Qi Huang, Qianli Ma, Qiyang Min, Qiying Yu, Renming Pang, Ru Zhang, Shen Yan, Shen Yan, Shixiong Zhao, Shuaishuai Cao, Shuang Wu, Siyan Chen, Siyu Li, Siyuan Qiao, Tao Sun, Tian Xin, Tiantian Fan, Ting Huang, Ting-Han Fan, Wei Jia, Wenqiang Zhang, Wenxuan Liu, Xiangzhong Wu, Xiaochen Zuo, Xiaoying Jia, Ximing Yang, Xin Liu, Xin Yu, Xingyan Bin, Xintong Hao, Xiongcai Luo, Xujing Li, Xun Zhou, Yanghua Peng, Yangrui Chen, Yi Lin, Yichong Leng, Yinghao Li, Yingshuan Song, Yiyuan Ma, Yong Shan, Yongan Xiang, Yonghui Wu, Yongtao Zhang, Yongzhen Yao, Yu Bao, Yuehang Yang, Yufeng Yuan, Yunshui Li, Yuqiao Xian, Yutao Zeng, Yuxuan Wang, Zehua Hong, Zehua Wang, Zengzhi Wang, Zeyu Yang, Zhengqiang Yin, Zhenyi Lu, Zhexi Zhang, Zhi Chen, Zhi Zhang, Zhiqi Lin, Zihao Huang, Zilin Xu, Ziyun Wei, Zuo Wang

개요

Virtual Width Networks (VWN)는 은닉 크기를 증가시키는 제곱 비용 없이 더 넓은 표현의 이점을 제공하는 프레임워크입니다. VWN은 표현 너비를 백본 너비에서 분리하여 백본 계산을 거의 일정하게 유지하면서 임베딩 공간을 확장합니다. 대규모 실험에서 8배 확장은 다음 토큰 예측에 대해 2배 이상, 다음 2-토큰 예측에 대해 3배의 최적화를 가속화했습니다. 손실 차이가 커지고 수렴 속도 향상 비율이 증가함에 따라 VWN이 토큰 효율적일 뿐만 아니라 규모에 따라 점점 더 효과적임이 입증되었습니다. 또한 가상 너비와 손실 감소 사이의 대략적인 로그 선형 스케일링 관계를 확인하여 대형 모델 효율성의 새로운 차원으로 가상 너비 스케일링을 탐색하는 초기 경험적 근거와 동기를 제공합니다.

시사점, 한계점

백본 계산 비용을 거의 증가시키지 않고 더 넓은 표현을 가능하게 하여 최적화를 가속화합니다.
다음 토큰 및 다음 2-토큰 예측 작업에서 성능 향상을 보입니다.
손실 감소와 가상 너비 사이의 로그 선형 스케일링 관계를 발견하여 모델 효율성 연구에 새로운 방향을 제시합니다.
논문에서 구체적인 한계점은 명시되지 않았습니다.
👍