[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Apple Intelligence Foundation Language Models: Tech Report 2025

Created by
  • Haebom

作者

Hanzhi Zhou (Taoyi), Erik Hornberger (Taoyi), Pengsheng Guo (Taoyi), Xiyou Zhou (Taoyi), Saiwen Wang (Taoyi), Xin Wang (Taoyi), Yifei He (Taoyi), Xankai (Taoyi), Louis D'hauwe (Taoyi), John Peebles (Taoyi), Alec Doane (Taoyi), Kohen Chia (Taoyi), Jenna Thibodeau (Taoyi), Zi-Yi Dou (Taoyi), Yuanyang Zhang (Taoyi)リ(タオイ)、ジフェンチェン(タオイ)、ジェレミー・ワーナー(タオイ)、ザオヤン・シュ(タオイ)、ソフィー・リー(タオイ)、デビッド・ミズラリ(タオイ)、ラムゼイ・タンタウィ(タオイ)、クリス・チャニー(タオ) Qin(Taoyi)、Alex Dombrowski(Taoyi)、Mira Chiang(Taoyi)、Aiswarya Raghavan(Taoyi)、Gerard Casamayor(Taoyi)、Qibin Chen(Taoyi)、Aonan Zhang(Taoyi)、Nathalie Tran(Taoyi) Hang Su (Taoyi), Thomas Voice (Taoyi), Alessandro Pappalardo (Taoyi), Brycen Wershing (Taoyi), Prasanth Yadla (Taoyi), Rui Li (Taoyi), Priyal Chhatrapati (Taoyi), Ismael (Taoyi), Xin Zheng (Taoyi), Forrest Huang (Taoyi), Tao Lei (Taoyi), Eray Yildiz (Taoyi), Alper Kokmen (Taoyi), Gokul Santhanam (Taoyi), Areeba Kamal (Taoyi), (Taoyi), Jeremy Liu (Taoyi), Peter Gray (Taoyi), Howard Xing (Taoyi), Kieran Liu (Taoyi), Matteo Ronchi (Taoyi), Moritz Schwarzer-Becker (Taoyi), Yun Zhu (Taoyi) Snow(Taoyi)、David Griffiths(Taoyi)、Guillaume Tartavel(Taoyi)、Erin Feldman(Taoyi)、Simon Lehnerer(Taoyi)、Fernando Berm udez-Medina(Taoyi)、Hans Han(Taoyi)、Joeii (Taoyi), Sujeeth Reddy (Taoyi), Zirui Wang (Taoyi), Tom Gunter (Taoyi), Albert Antony (Taoyi), Yuanzhi Li (Taoyi), John Dennison (Taoyi), Tony Sun (Taoyi), Yena (Taoyi), Sam Davarnia (Taoyi), Jeffrey Bigham (Taoyi), Wayne Shan (Taoyi), Hannah Gillis Coleman (Taoyi), Guillaume Klein (Taoyi), Peng Liu (Taoyi), Muyang Yu (Taoyi)ガオ(タオイ)、クリスタルシアオ(タオイ)、バイナジルカリムザデ(タオイ)、ジンドンチャン(タオイ)、フェリックスバイ(タオイ)、アルビンマダッパリホセ(タオイ)、フェンナン(タオヤ) (Taoyi), Hans Hao (Taoyi), Yanchao Sun (Taoyi), Yi Hua (Taoyi), Charles Maalouf (Taoyi), Alex Guillen Garcia (Taoyi), Guoli Yin (Taoyi), Lezhi Li (Taoyi), Moaai (Taoyi), Jay Tang (Taoyi), Joanna Arreaza-Taylor (Taoyi), Faye Lao (Taoyi), Carina Peng (Taoyi), Josh Shaffer (Taoyi), Dan Masi (Taoyi), Sushma Rao (Taoyi) Tong(Taoyi), Dongcai Shen(Taoyi), Yang Zhao(Taoyi), Chris Bartels(Taoyi), Peter Fu(Taoyi), Qingqing Cao(Taoyi), Christopher Neubauer(Taoyi), Ethan Li(Taoyi) Callahan (Taoyi), Richard Wei (Taoyi), Patrick Dong (Taoyi), Alex Braunstein (Taoyi), Sachin Ravi (Taoyi), Adolfo Lopez Mendez (Taoyi), Kaiwei Huang (Taoyi), Kun Duan (Taoyi), Kun Duan (Taoyi)キアン(タオイ)、ステファノリガス(タオイ)、ジョルダン・ハッファカー(タオイ)、ドンクスリ(タオイ)、バイリンワン(タオイ)、ナンズワン(タオジ)、アヌバアガルウォール(タオイ)、テイトマッセンAbhishek Sharma (Taoyi), Zhile Ren (Taoyi), Deepak Gopinath (Taoyi), Erik Daxberger (Taoyi), Saptarshi Guha (Taoyi), Oron Levy (Taoyi), Jing Lu (Taoyi), Nanyun Yinfei Yang (Taoyi), Manjot Bilkhu (Taoyi), Dave Nelson (Taoyi), Anthony Spalvieri-Kruse (Taoyi), Juan Lao Tebar (Taoyi), Yang Xu (Taoyi), Phani Mutyala (Taoyi), Yingbo Wang (Taoyi), Karla Vega (Taoyi), Vishaal Mahtani (Taoyi), Darren Botten (Taoyi), Eric Wang (Taoyi), Hanli Li (Taoyi), Matthias Paulik (Taoyi), Haoran Yan (Taoyi), Haoran Yan (Taoyi) Yihao Qian (Taoyi), Bugu Wu (Taoyi), Qi Zhu (Taoyi), Ob Adaranijo (Taoyi), Bhuwan Dhingra (Taoyi), Zhe Gan (Taoyi), Nicholas Seidl (Taoyi), Grace Duanmu Yiping Ma(Taoyi)、Yin Xia(Taoyi)、David Riazati(Taoyi)、Vasileios Saveris(Taoyi)、Anh Nguyen(Taoyi)、Michael(Taoyi)、Lee、Patrick Sonnenberg、Chinguun Erdenebileg、Yanghao Keen You, Yuhong Li, Ransen Niu, Nandhitha Raghuram, Pulkit Agrawal, Henry Mason, Sumeet Singh, Keyu He, Hong-You Chen, Lucas Guibert, Shiyu Li, Varsha Paidi, Narendran Raghavan, Mingze Xu, Yuli Yang, Sergiuu Sima, Dehghan, Philipp Dufter, David Haldimann, Zhen Yang, Margit Bowler, Chang Liu, Ying-Chang Cheng, Vivek Rathod, Syd Evans, Wilson Tsao, Dustin Withers, Haitian Sun, Biyao Wang, Peter Grasch, Walker Cheng, Yihao Feng Vivek Haladjian, Doug Kang, Jiarui Lu, Ciro Sannino, Max Lam, Floris Weers, Bowen Pan, Kenneth Jung, Dhaval Doshi, Fangping Shi, Olli Saarikivi, Alp Aygar, Josh Elman, Cheng Leong, Eshan Verma, Matthew Lei, Jeff Nichols, Laulong Murphy, Xianzhi Du, Chang Lan, Ankur Jain, Elmira Amirloo, Marcin Eichner, Naomy Sabo, Anupama Mann Anupama, David Qiu, Zhao Meng, Michael FitzMaurice, Peng Zhang, Simon Yeung, Chen Chen, Marco Zuliani, Andrew Hansen, Yang Mazaheri, Matthew Hopkins, Mengyu Li, Simon Wang, David Chen, Farzin Rasteh, Chong Wang, Josh Gardner, Asaf Liberman, Haoxuan You, Andrew Walkingshaw, Xingyu Zhou, Jinhao Lei, Yan Meng, アンティン・クネブローク, Sam Wiseman Ahmed, Haiming Gang, Aaron Franklin, Kelvin Zou, Guillaume Seguin, Jonathan Janke, Rachel Burger, Co Giang, Cheng Shen, Jen Liu, Sanskruti Shah, Xiang Kong, Yiran Fei, TJ Collins, Chen Zhang, Zhiyun Lu, Michael Booker, Michael Booker Teran, Federico Scozzafava, Regan Poston, Jane Li, Eduardo Jimenez, Bas Straathof, Karanjeet Singh, Lindsay Hislop, Rajat Arora, Deepa Seshadri, Boyue Li, Colorado Reed, Zhen Li, TJ Lu, Yi Wang, Kaelen Haag, Nicholas Lus Mary Beth Kery, Mehrdad Farajtbar, Brenda Yang, George Horrell, Shiwen Zhao, Dhruti Shah, Cha Chen, Bowen Zhang, Chang Gao, Devi Krishna, Jennifer Mallalieu, Javier Movellan, Di Feng, Emily Zhang, Sam Xu, Junting Pan, Dominik Moritz Hwang, Daniel Parilla, Jiaming Hu, You-Cyuan Jhang, Emad Soroush, Fred Hohman, Nan Du, Emma Wang, Sam Dodge, Pragnya Sridhar, Joris Pelemans, Wei Fang, Nina Wenzel, Joseph Yitan Cheng, Hadas Kotek, Chung-Cheng Chiu, Meng Cao Zhu, Nikhil Bhendawade, Joseph Astrauskas, Jian Liu, Sai Aitharaju, Wentao Wu, Artsiom Peshko, Hyunjik Kim, Nilesh Shahdadpuri, Andy De Wang, Qi Shan, Piotr Maj, Raul Rea Menacho, Justin Lazarow, Eric Liang Yang uera, Minsik Cho, Kavya Nerella, Yongqiang Wang, Tao Jia, John Park, Jeff Lai, Haotian Zhang, Futang Peng, Daniele Molinari, Aparna Rajamani, Tyler Johnson, Lauren Gardiner, Chao Jia, Violet Xoyu Lichin

概要

Appleは、Appleデバイスとサービス全体のApple Intelligence機能を駆動する2つの多言語、マルチモーダルベースの言語モデルを紹介します。 1つはアーキテクチャイノベーション(KVキャッシュ共有と2ビット量子化認識学習)を介してAppleシリコンに最適化された30億パラメータのデバイス内モデルで、もう1つはトラック並列処理、エキスパートミックススパース計算、およびインターリーブされたグローバルエリアアテンションを組み合わせた新しいパラレルトラックエキスパートミックス(PT-MoE)トランスフォーマーです。どちらのモデルも、責任あるWebクロール、ライセンスされたコーパス、高品質の合成データから得られた大規模な多言語およびマルチモーダルデータセットで学習され、新しい非同期プラットフォームで監督された微調整と強化学習によってさらに改善されます。結果モデルは、イメージを理解し、ツール呼び出しを実行すると同時に複数の追加言語をサポートします。パブリックベンチマークと人間の評価では、サーバーモデルとデバイス内モデルの両方が、同じサイズのパブリックリファレンスモデルと同等または上回るパフォーマンスを示しています。新しいSwift中心のベースモデルフレームワークは、ガイダンス生成、制約付きツール呼び出し、およびLoRAアダプタの微調整を提供し、開発者が数行のコードにこれらの機能を統合できるようにします。アップルインテリジェンスモデルの最新の進歩は、コンテンツフィルタリングやロケール別の評価などの安全なデバイスだけでなく、Private Cloud Computeなどのイノベーションを通じてユーザーのプライバシーを保護するための努力とともに、責任あるAIアプローチに基づいています。

Takeaways、Limitations

Takeaways:
多言語およびマルチモーダル機能を備えた、競争力のあるパフォーマンスを備えたデバイス内およびサーバーベースの言語モデルの開発。
Swiftベースの開発者フレンドリーなフレームワークを提供し、簡単なモデル統合が可能です。
責任あるAIアプローチとプライバシー機能を強調。
Limitations:
論文における具体的な性能指標と比較対象モデルの詳細情報の欠如
使用される大規模データセットの構成と品質の詳細な説明が不足しています。
PT-MoE変圧器の具体的なアーキテクチャと設計の詳細な技術不足
責任あるAIアプローチの具体的な内容の欠如。
👍