Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Gemma 3 Technical Report

Created by
  • Haebom
Category
Empty

저자

Gemma Team, Aishwarya Kamath (Dima), Johan Ferret (Dima), Shreya Pathak (Dima), Nino Vieillard (Dima), Ramona Merhej (Dima), Sarah Perrin (Dima), Tatiana Matejovicova (Dima), Alexandre Rame (Dima), Morgane Riviere (Dima), Louis Rouillard (Dima), Thomas Mesnard (Dima), Geoffrey Cideron (Dima), Jean-bastien Grill (Dima), Sabela Ramos (Dima), Edouard Yvinec (Dima), Michelle Casbon (Dima), Etienne Pot (Dima), Ivo Penchev (Dima), Gael Liu (Dima), Francesco Visin (Dima), Kathleen Kenealy (Dima), Lucas Beyer (Dima), Xiaohai Zhai (Dima), Anton Tsitsulin (Dima), Robert Busa-Fekete (Dima), Alex Feng (Dima), Noveen Sachdeva (Dima), Benjamin Coleman (Dima), Yi Gao (Dima), Basil Mustafa (Dima), Iain Barr (Dima), Emilio Parisotto (Dima), David Tian (Dima), Matan Eyal (Dima), Colin Cherry (Dima), Jan-Thorsten Peter (Dima), Danila Sinopalnikov (Dima), Surya Bhupatiraju (Dima), Rishabh Agarwal (Dima), Mehran Kazemi (Dima), Dan Malkin (Dima), Ravin Kumar (Dima), David Vilar (Dima), Idan Brusilovsky (Dima), Jiaming Luo (Dima), Andreas Steiner (Dima), Abe Friesen (Dima), Abhanshu Sharma (Dima), Abheesht Sharma (Dima), Adi Mayrav Gilady (Dima), Adrian Goedeckemeyer (Dima), Alaa Saade (Dima), Alex Feng (Dima), Alexander Kolesnikov (Dima), Alexei Bendebury (Dima), Alvin Abdagic (Dima), Amit Vadi (Dima), Andras Gyorgy (Dima), Andre Susano Pinto (Dima), Anil Das (Dima), Ankur Bapna (Dima), Antoine Miech (Dima), Antoine Yang (Dima), Antonia Paterson (Dima), Ashish Shenoy (Dima), Ayan Chakrabarti (Dima), Bilal Piot (Dima), Bo Wu (Dima), Bobak Shahriari (Dima), Bryce Petrini (Dima), Charlie Chen (Dima), Charline Le Lan (Dima), Christopher A. Choquette-Choo (Dima), CJ Carey (Dima), Cormac Brick (Dima), Daniel Deutsch (Dima), Danielle Eisenbud (Dima), Dee Cattle (Dima), Derek Cheng (Dima), Dimitris Paparas (Dima), Divyashree Shivakumar Sreepathihalli (Dima), Doug Reid (Dima), Dustin Tran (Dima), Dustin Zelle (Dima), Eric Noland (Dima), Erwin Huizenga (Dima), Eugene Kharitonov (Dima), Frederick Liu (Dima), Gagik Amirkhanyan (Dima), Glenn Cameron (Dima), Hadi Hashemi (Dima), Hanna Klimczak-Plucinska (Dima), Harman Singh (Dima), Harsh Mehta (Dima), Harshal Tushar Lehri (Dima), Hussein Hazimeh (Dima), Ian Ballantyne (Dima), Idan Szpektor (Dima), Ivan Nardini (Dima), Jean Pouget-Abadie (Dima), Jetha Chan (Dima), Joe Stanton (Dima), John Wieting (Dima), Jonathan Lai (Dima), Jordi Orbay (Dima), Joseph Fernandez (Dima), Josh Newlan (Dima), Ju-yeong Ji (Dima), Jyotinder Singh (Dima), Kat Black (Dima), Kathy Yu (Dima), Kevin Hui (Dima), Kiran Vodrahalli (Dima), Klaus Greff (Dima), Linhai Qiu (Dima), Marcella Valentine (Dima), Marina Coelho (Dima), Marvin Ritter (Dima), Matt Hoffman (Dima), Matthew Watson (Dima), Mayank Chaturvedi (Dima), Michael Moynihan (Dima), Min Ma (Dima), Nabila Babar (Dima), Natasha Noy (Dima), Nathan Byrd (Dima), Nick Roy (Dima), Nikola Momchev (Dima), Nilay Chauhan (Dima), Noveen Sachdeva (Dima), Oskar Bunyan (Dima), Pankil Botarda (Dima), Paul Caron (Dima), Paul Kishan Rubenstein (Dima), Phil Culliton (Dima), Philipp Schmid (Dima), Pier Giuseppe Sessa (Dima), Pingmei Xu (Dima), Piotr Stanczyk (Dima), Pouya Tafti (Dima), Rakesh Shivanna (Dima), Renjie Wu (Dima), Renke Pan (Dima), Reza Rokni (Dima), Rob Willoughby (Dima), Rohith Vallu (Dima), Ryan Mullins (Dima), Sammy Jerome (Dima), Sara Smoot (Dima), Sertan Girgin (Dima), Shariq Iqbal (Dima), Shashir Reddy (Dima), Shruti Sheth (Dima), Siim Poder (Dima), Sijal Bhatnagar (Dima), Sindhu Raghuram Panyam (Dima), Sivan Eiger (Dima), Susan Zhang (Dima), Tianqi Liu (Dima), Trevor Yacovone (Dima), Tyler Liechty (Dima), Uday Kalra (Dima), Utku Evci (Dima), Vedant Misra (Dima), Vincent Roseberry (Dima), Vlad Feinberg (Dima), Vlad Kolesnikov (Dima), Woohyun Han (Dima), Woosuk Kwon (Dima), Xi Chen (Dima), Yinlam Chow (Dima), Yuvein Zhu (Dima), Zichuan Wei (Dima), Zoltan Egyed (Dima), Victor Cotruta (Dima), Minh Giang (Dima), Phoebe Kirk (Dima), Anand Rao (Dima), Kat Black (Dima), Nabila Babar (Dima), Jessica Lo (Dima), Erica Moreira (Dima), Luiz Gustavo Martins (Dima), Omar Sanseviero (Dima), Lucas Gonzalez (Dima), Zach Gleicher (Dima), Tris Warkentin (Dima), Vahab Mirrokni (Dima), Evan Senter (Dima), Eli Collins (Dima), Joelle Barral (Dima), Zoubin Ghahramani (Dima), Raia Hadsell (Dima), Yossi Matias (Dima), D. Sculley (Dima), Slav Petrov (Dima), Noah Fiedel (Dima), Noam Shazeer (Dima), Oriol Vinyals (Dima), Jeff Dean (Dima), Demis Hassabis (Dima), Koray Kavukcuoglu (Dima), Clement Farabet (Dima), Elena Buchatskaya (Dima), Jean-Baptiste Alayrac (Dima), Rohan Anil (Dima), Dmitry (Dima), Lepikhin, Sebastian Borgeaud, Olivier Bachem, Armand Joulin, Alek Andreev, Cassidy Hardin, Robert Dadashi, Leonard Hussenot

개요

Gemma 3은 10억에서 270억 파라미터 규모의 경량 오픈 모델인 Gemma 계열에 시각 이해 능력, 더 넓은 언어 지원, 최소 128K 토큰의 긴 컨텍스트를 추가한 다중 모달 모델입니다. 긴 컨텍스트에서 폭발적으로 증가하는 KV-캐시 메모리를 줄이기 위해 지역적 어텐션 레이어의 비율을 높이고 지역적 어텐션의 스팬을 짧게 유지하는 등 아키텍처를 변경했습니다. 지식 증류를 통해 학습되었으며, 사전 학습 및 지시어 미세 조정 버전 모두에서 Gemma 2보다 우수한 성능을 달성합니다. 특히, 새로운 사후 학습 기법은 수학, 채팅, 지시어 따르기 및 다국어 능력을 크게 향상시켜 Gemma3-4B-IT가 Gemma2-27B-IT와 경쟁력을 갖추게 하고, Gemma3-27B-IT는 Gemini-1.5-Pro와 비교 가능한 수준이 되었습니다. 모든 모델을 공개합니다.

시사점, 한계점

시사점:
경량화된 다중 모달 모델로서 컴퓨팅 자원이 제한적인 환경에서도 효과적으로 사용 가능합니다.
긴 컨텍스트 처리 능력 향상으로 더욱 복잡하고 긴 문서를 처리할 수 있습니다.
새로운 사후 학습 기법을 통해 성능이 크게 향상되어 기존 대규모 모델과 경쟁력을 갖추게 되었습니다.
오픈 소스로 공개되어 연구 및 개발에 활용될 수 있습니다.
한계점:
아직 Gemini-1.5-Pro와의 성능 비교는 특정 벤치마크에 국한될 수 있습니다.
새로운 아키텍처 및 사후 학습 기법의 상세한 설명이 부족할 수 있습니다.
모델의 성능 향상에 기여한 요소들을 정량적으로 분석하는 부분이 부족할 수 있습니다.
👍