Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Apple Intelligence Foundation Language Models: Tech Report 2025

Created by
  • Haebom

作者

Ethan Li (Taoyi), Anders Boesen Lindbo Larsen (Taoyi), Chen Zhang (Taoyi), Xiyou Zhou (Taoyi), Jun Qin (Taoyi), Dian Ang Yap (Taoyi), Narendran Raghavan (Taoyi), (Taoyi), Eray Yildiz (Taoyi), John Peebles (Taoyi), Hannah Gillis Coleman (Taoyi), Matteo Ronchi (Taoyi), Peter Gray (Taoyi), Keen You (Taoyi), Anthony Spalvieri-Krus (Taoyi), Reed Li (Taoyi), Yuli Yang (Taoyi), Emad Soroush (Taoyi), Zhiyun Lu (Taoyi), Crystal Xiao (Taoyi), Rong Situ (Taoyi), Jordan Huffaker (Taoyi), (Taoyi), Peng Zhang (Taoyi), Daniel Parilla (Taoyi), Asaf Liberman (Taoyi), Jennifer Mallalieu (Taoyi), Parsa Mazaheri (Taoyi), Qibin Chen (Taoyi), Manjot Bilkhu (Taoyi), Wang(Taoyi), Dave Nelson(Taoyi), Michael FitzMaurice(Taoyi), Thomas Voice(Taoyi), Jeremy Liu(Taoyi), Josh Shaffer(Taoyi), Shiwen Zhao(Taoyi), Prasanth Yadla(Taoyi), Prasanth Yadla(Taoyi), Guo(Taoyi)、Arsalan Farooq(Taoyi)、Jeremy Snow(Taoyi)、Stephen Murphy(Taoyi)、Tao Lei(Taoyi)、Minsik Cho(Taoyi)、George Horrell(Taoyi)、Sam Dodge(Taoyi) Sumeet Singh (Taoyi), Alex Dombrowski (Taoyi), Aiswarya Raghavan (Taoyi), Sasha Sirovica (Taoyi), Mandana Saebi (Taoyi), Faye Lao (Taoyi), Max Lam (Taoyi), TJ Lu (Taoyi), TJ Lu (Taoyi) Karanjeet Singh (Taoyi), Marc Kirchner (Taoyi), David Mizrahi (Taoyi), Rajat Arora (Taoyi), Haotian Zhang (Taoyi), Henry Mason (Taoyi), Lawrence Zhou (Taoyi), Yiia Felix Bai(Taoyi)、Joseph Astrauskas(Taoyi)、Floris Weers(Taoyi)、Josh Gardner(Taoyi)、Mira Chiang(Taoyi)、Yi Zhang(Taoyi)、Pulkit Agrawal(Taoyi)、Tony Sun (タオイ)、マシューホプキンス(タオイ)、ブグウ(タオイ)、タオジア(タオイ)、チェンチェン(タオイ)、シンギョウチョウ(タオイ)、ナンズワン(タオイ)、ペンリウ(タオイ) (タオイ)、ユアンガオ(タオイ)、アフシン・デハン(タオイ)、ジョナサン・ジャンケ(タオイ)、ジルイ・ワン(タオイ)、チャ・チェン(タオイ)、Xiaoyi Ren(タオイ)、フェンナン(タヨイ) (Taoyi), Yusuf Goren (Taoyi), Jeff Lai (Taoyi), Yiran Fei (Taoyi), Syd Evans (Taoyi), Muyang Yu (Taoyi), Guoli Yin (Taoyi), Yi Qin (Taoyi), Erin (Taoyi), Aparna Rajamani (Taoyi), Karla Vega (Taoyi), Walker Cheng (Taoyi), TJ Collins (Taoyi), Hans Han (Taoyi), Raul Rea Menacho (Taoyi), Simon Yeung (Taoyi) (Taoyi), Ying-Chang Cheng (Taoyi), Zhe Gan (Taoyi), Sprite Chu (Taoyi), Justin Lazarow (Taoyi), Alessandro Pappalardo (Taoyi), Federico Scozzafava (Taoyi), Jing Lu (Taoyi) Laurent Duchesne (Taoyi), Jen Liu (Taoyi), David G uera (Taoyi), Stefano Ligas (Taoyi), Mary Beth Kery (Taoyi), Brent Ramerth (Taoyi), Ciro Sannino (Taoyi), Marcin Eichner (Taoyi), Rui Qian (Taoyi), Moritz Schwarzer-Becker (Taoyi), David Riazati (Taoyi), Mingfei Gao (Taoyi), Bailin Wang (Taoyi), Jack Cackler (Taoyi), Yang Lu (Taoyi), Yang Lu (Taoyi) (Taoyi), Guillaume Klein (Taoyi), Jeffrey Bigham (Taoyi), Deepak Gopinath (Taoyi), Navid Shiee (Taoyi), Darren Botten (Taoyi), Guillaume Tartavel (Taoyi), Alex Guillen Gar Victoria M onchJuan Haladjian (Taoyi), Zi-Yi Dou (Taoyi), Matthias Paulik (Taoyi), Adolfo Lopez Mendez (Taoyi), Zhen Li (Taoyi), Hong-You Chen (Taoyi), Chao Jia (Taoyi) Zhengdong Zhang (Taoyi), Raunak Manjani (Taoyi), Aaron Franklin (Taoyi), Zhile Ren (Taoyi), David Chen (Taoyi), Artsiom Peshko (Taoyi), Nandhitha Raghuram (Taoyi), (タオイ)、カヴィア・ネレラ(タオイ)、ラムゼイ・タンタウイ(タオイ)、ビベク・クマール(タオイ)、サイウェン・ワン(タオイ)、ブライセン・ウェルシャイン(タオイ)、ブワン・ドングラ(タオイ)、ドゥルティ・シャ(タオイ)、シンチョン(タオイ)、テイトマッセン(タオイ)、ハダスコテク(タオイ)、チャンリウ(タオイ)、ジンシア(タオイ)、ハンリリ(タオイ)、スマジャヤラム(タオイ)、ヤンチャオサン(Taoyi), Vasileios Saveris (Taoyi), Dustin Withers (Taoyi), Yanghao Li (Taoyi), Alp Aygar (Taoyi), Andres Romero Mier Y Teran (Taoyi), Kaiwei Huang (Taoyi), Marke Yuhong Li(Taoyi)、Tyler Johnson(Taoyi)、Jay Tang(Taoyi)、Joseph Yitan Cheng(Taoyi)、Futang Peng(Taoyi)、Andrew Walkingshaw(Taoyi)、Lucas Guibert(Taoyi)、Abhishek Shar (Taoyi), Piotr Maj (Taoyi), Yasutaka Tanaka (Taoyi), You-Cyuan Jhang (Taoyi), Vivian Ma (Taoyi), Tommi Vehvilainen (Taoyi), Kelvin Zou (Taoyi), Jeff Nichos (タオイ)、デビッド・キウ(タオイ)、Yihao Qian(Taoyi)、ゴクル・サンタナム(Taoyi)、Wentao Wu(Taoyi)、Yena Han(Taoyi)、ドミニク・モリッツ(Taoyi)、Haijing Fu(Taoyi)、Ming (タオイ)、Jian Liu(Taoyi)、Louis D'hauwe(Taoyi)、Qin Ba(Taoyi)、Haitian Sun(Taoyi)、Haoran Yan(Taoyi)、Philipp Dufter(Taoyi)、Anh Nguyen(Taoyi)、 (Taoyi), Keyu He (Taoyi), Rahul Nair (Taoyi), Sanskruti Shah (Taoyi), Jiarui Lu (Taoyi), Patrick Sonnenberg (Taoyi), Jeremy Warner (Taoyi), Yuanzhi Li (Taoyi) (Taoyi), Joe Zhou (Taoyi), Sam Davarnia (Taoyi), Olli Saarikivi (Taoyi), Irina Belousova (Taoyi), Rachel Burger (Taoyi), Shang-Chen Wu (Taoyi), Di Feng (Taoyi) (Taoyi), Yuanyang Zhang (Taoyi), Marco Zuliani (Taoyi), Eduardo Jimenez (Taoyi), Abhishek Sundararajan (Taoyi), Xianzhi Du (Taoyi), Chang Lan (Taoyi), Nilesh Shahdadpur (Taoyi), Sergiu Sima (Taoyi), Josh Newnham (Taoyi), Varsha Paidi (Taoyi), Jianyu Wang (Taoyi), Kaelen Haag (Taoyi), Alex Braunstein (Taoyi), Daniele Molinari (Taoyi), リチャード(Taoyi), Nicholas Lusskin (Taoyi), Joanna Arreaza-Taylor (Taoyi), Meng Cao (Taoyi), Nicholas Seidl (Taoyi), Simon Wang (Taoyi), Jiaming Hu (Taoyi), Yiping Ma (Taoyi)リウ(タオイ)、ハンス(タオイ)、サシンラビ(タオイ)、チョンワン(タオヤ)、シンワン(タオイ)、ケビンスミス(タオイ)、ハオクスンユウ(タオイ)、バイナジルカリムザデ(タオイ)レイ(タオイ)、ワイファン(タオイ)、アレックドーン(タオイ)、サム・ワイセマン(タオイ)、イスメエル・フェルナンデス(タオイ)、ジェーン・リ(タオイ)、アンドリュー・ハンセン(タオイ)、ハビエル・モヴェラン(タオジ)、クリス(Taoyi), Chris Chaney (Taoyi), Nazir Kamaldin (Taoyi), Valentin Wolf (Taoyi), Fernando Berm udez-Medina (Taoyi), Joris Pelemans (Taoyi), Peter Fu (Taoyi), Howard Xing (Taoyi) (Taoyi), Gabriel Jacoby-Cooper (Taoyi), Dongcai Shen (Taoyi), Tom Gunter (Taoyi), Guillaume Seguin (Taoyi), Fangping Shi (Taoyi), Shiyu Li (Taoyi), Yang Xu (Taoyi) (Taoyi), Saptarshi Guha (Taoyi), Qi Zhu (Taoyi), Jenna Thibodeau (Taoyi), Changyuan Zhang (Taoyi), Rebecca Callahan (Taoyi), Charles Maalouf (Taoyi), Wilson Tsao Qingqing Cao (Taoyi), Naomy Sabo (Taoyi), Cheng Leong (Taoyi), Yi Wang (Taoyi), Anupama Mann Anupama (Taoyi), Colorado Reed (Taoyi), Kenneth Jung (Taoyi), Zhifeng (Taoyi), Yifei He (Taoyi), Erik Hornberger (Taoyi), Devi Krishna (Taoyi), Senyu Tong (Taoyi), Michael (Taoyi), Lee, David Haldimann, Yang Zhao, Bowen Zhang, Chang Gao, Chris Lehnerer, Co Giang, Patrick Dong, Junting Pan, Biyao Wang, Dongxu Li, Mehrdad Farajtabar, Dongseong Hwang, Grace Duanmu, Eshan Verma, Sujeeth Reddy, Qi Shan, Hongbin Gao, Nan Du, Pragnya Sridhar, Forrest Huang, Yingbo Wang Aitharaju, Fred Hohman, Lauren Gardiner, Chung-Cheng Chiu, Yinfei Yang, Alper Kokmen, Frank Chu, Ke Ye, Kaan Elgin, Oron Levy, John Park, Donald Zhang, Eldon Schoop, Nina Wenzel, Michael Booker, Hyunjik Kim, Chinguer Chhatrapati, Vishaal Mahtani, Haiming Gang, Kohen Chia, Deepa Seshadri, Donghan Yu, Yan Meng, Kelsey Peterson, Zhen Yang, Yongqiang Wang, Carina Peng, Doug Kang, Anuva Agarwal, Albert Antony, Juan Lao Tebar, Albin Madappally Jose Elmira Amirloo, Violet Yao, Wojciech Kryscinski, Kun Duan, Lezhi L

概要

Appleは、Appleデバイスとサービス全体のApple Intelligence機能をサポートする2つの多言語、マルチモーダルベースの言語モデルを紹介します。 1つはアーキテクチャイノベーション(KVキャッシュ共有と2ビット量子化認識学習など)を介してアップルシリコンに最適化された30億パラメータのオンデバイスモデルで、もう1つはトラック並列処理、専門家混合スパース計算、およびインターリーブされたグローバル-地域アテンションを組み合わせた新しい並列トラック専門家混合(PT-MoE)モデル。どちらのモデルも、責任あるWebクロール、ライセンスされた駒、高品質の合成データから得られた大規模な多言語およびマルチモーダルデータセットで学習され、新しい非同期プラットフォームでのマップ学習の微調整と強化学習によってさらに改善されました。結果モデルは、イメージを理解し、ツール呼び出しを実行すると同時に複数の追加言語をサポートします。パブリックベンチマークと人間の評価では、サーバーモデルとオンデバイスモデルの両方が、同じサイズのパブリックリファレンスモデルと比較して同等または上回るパフォーマンスを示しました。新しいSwift中心の基盤となるモデルフレームワークは、ガイド作成、制約付きツール呼び出し、およびLoRAアダプタの微調整を提供し、開発者が数行のコードにこれらの機能を統合できるようにします。アップルインテリジェンスモデルの最新の進歩は、コンテンツフィルタリングやロケール別の評価などの安全装置だけでなく、Private Cloud Computeなどの革新を通じてユーザーのプライバシーを保護する努力とともに、Appleの責任あるAIアプローチに基づいています。

Takeaways、Limitations

Takeaways:
Appleシリコン向けに最適化された軽量オンデバイスモデルとスケーラブルなサーバーモデルの両方を提供し、さまざまなアプリケーションに適用可能性を高めました。
多言語とマルチモーダル機能をサポートし、より豊富で多様なユーザーエクスペリエンスを提供します。
新しいSwiftベースのフレームワークにより、開発者がAppleの基盤モデルを簡単に統合できるようになります。
責任あるAIアプローチとプライバシー保護のための努力を強調します。
公開ベンチマークで競争力のあるパフォーマンスを見せました。
Limitations:
使用されたデータセットの具体的な内容とサイズ、データ収集プロセスに関する詳細情報が不足しています。
Private Cloud Computeの具体的な技術的詳細は限られています。
モデルの環境影響とエネルギー消費に関する情報はありません。
長期的なメンテナンスと更新計画についての言及はありません。
他の既存モデルとの比較分析がより詳細に必要である。
👍