Share
Sign In
Home
Subscribe
👩‍💻 AI
2024 WWDC 애플, 새로운 온디바이스 및 서버 기반 파운데이션 모델 공개
Splash
👍
2024년 WWDC에서 iOS 18, iPadOS 18, macOS Sequoia에 깊이 통합된 퍼스널 인텔리전스 시스템인 Apple Intelligence를 발표함
Apple Intelligence는 사용자의 일상 작업에 특화된 다수의 생성 모델로 구성되며, 현재 활동에 맞게 즉각 적응 가능함
내장된 파운데이션 모델은 문서 작성/개선, 알림 요약/우선순위화, 대화용 재미있는 이미지 생성, 앱 간 상호작용 간소화 등의 사용자 경험을 위해 파인튜닝됨
2개의 모델 - 약 30억 개 파라미터의 온디바이스 언어 모델, Private Cloud Compute를 통해 제공되는 더 큰 서버 기반 언어 모델 - 이 효율적이고 정확하며 책임감 있게 특화 작업을 수행하도록 구축/적용됨
이들은 Xcode에 인텔리전스를 구축하기 위한 코딩 모델, Messages 앱에서 시각적 표현을 돕는 디퓨전 모델 등을 포함한 더 큰 애플 제작 생성 모델군의 일부임
💡
결론
WWDC24에서 소개된 애플 파운데이션 모델과 어댑터는 iPhone, iPad, Mac에 깊이 통합되어 언어, 이미지, 동작, 개인 컨텍스트에 걸쳐 강력한 기능을 제공하는 새로운 퍼스널 인텔리전스 시스템인 Apple Intelligence의 기반이 됨
애플 제품 전반에 걸쳐 사용자가 일상 활동을 수행하는 데 도움을 주기 위한 목적으로 만들어졌으며, 모든 단계에서 책임감 있게 개발되었고 애플의 핵심 가치에 의해 이끌어짐
언어, 디퓨전, 코딩 모델을 포함한 더 광범위한 생성 모델 제품군에 대한 정보를 곧 공유할 예정
책임감 있는 AI 개발에 초점 맞춤
Apple Intelligence는 모든 단계에서 핵심 가치에 맞게 설계되고 획기적인 프라이버시 혁신을 기반으로 구축됨
애플은 AI 툴과 툴의 기반이 되는 모델 개발 방식을 안내하는 책임감 있는 AI 원칙을 수립함:
지적인 툴로 사용자에게 힘을 실어줌
사용자를 대표함
신중하게 설계함
프라이버시 보호
이 원칙은 Apple Intelligence를 가능케 하는 아키텍처 전반에 반영되어 있음
Pre-Training
파운데이션 모델은 2023년에 오픈소스로 공개한 애플의 AXLearn 프레임워크로 훈련됨
JAX와 XLA 위에 구축되어 다양한 하드웨어와 클라우드 플랫폼에서 효율적이고 확장성 있는 훈련이 가능함
데이터, 모델, 시퀀스 길이 등 다양한 차원으로 훈련 스케일링이 가능한 병렬화 기술 조합 사용
라이선스 데이터와 공개 데이터로 모델 훈련. 웹 퍼블리셔는 데이터 사용 제어로 Apple Intelligence 훈련에서 웹 컨텐츠 사용 옵트아웃 가능
사용자의 개인 데이터나 상호작용은 절대 사용하지 않음. PII 제거 필터링, 저품질 컨텐츠 필터링, 고품질 문서 식별을 위한 모델 기반 분류기 적용
Post-Training
데이터 품질이 모델 성공에 필수적임을 확인하여, 하이브리드 데이터 전략 활용
교사 위원회를 통한 거부 샘플링 파인튜닝 알고리즘과 미러 디센트 정책 최적화 및 leave-one-out 이점 추정기를 사용하는 RLHF 알고리즘 개발
이 두 알고리즘으로 모델의 지시 따르기 품질 상당히 개선됨
Optimization
고성능 생성 모델 개발 외에도 온디바이스 및 프라이빗 클라우드에서 속도와 효율성을 최적화하기 위해 다양한 혁신적 기술 적용
온디바이스 모델과 서버 모델 모두 그룹화된 쿼리 어텐션 사용
메모리 요구 사항과 추론 비용 절감을 위해 공유 입력 및 출력 어휘 임베딩 테이블 사용
온디바이스 모델은 49K 어휘 크기 사용, 서버 모델은 추가 언어 및 기술 토큰을 포함하여 100K 어휘 크기 사용
온디바이스 추론을 위해 저비트 팔레타이제이션 사용 - 압축되지 않은 모델과 동일한 정확도를 얻기 위해 혼합 2비트 및 4비트 구성 전략(평균 3.5비트 가중치당)을 통합하는 새로운 LoRA 어댑터 프레임워크 개발
Talaria 도구를 사용하여 각 작업에 대한 비트율 선택을 더 잘 안내함
활성화 및 임베딩 양자화 활용, 효율적인 KV 캐시 업데이트 방식 개발
이 최적화 세트로 iPhone 15 Pro에서 프롬프트 토큰당 약 0.6ms의 time-to-first-token 지연시간과 초당 30 토큰의 생성 속도 달성

Model Adaptation
파운데이션 모델은 사용자의 일상 활동을 위해 파인튜닝되며, 수행 중인 작업에 맞게 동적으로 자체 전문화 가능
특정 작업을 위해 모델을 파인튜닝하기 위해 사전 훈련된 모델의 다양한 계층에 연결할 수 있는 작은 신경망 모듈인 어댑터 활용
어댑터 계층만 파인튜닝하여 기본 사전 훈련 모델의 원래 매개변수는 변경되지 않고 일반 지식은 보존되면서 특정 작업 지원을 위해 어댑터 계층이 맞춤 설정됨
Performance and Evaluation
사용자가 애플 제품 전반에 걸쳐 커뮤니케이션하고 작업하며 자신을 표현하고 일을 처리할 수 있게 해주는 생성 모델 제공에 초점을 맞춤
모델 벤치마킹 시 사용자 경험과 상관관계가 높은 것으로 나타난 인간 평가에 초점을 맞춤
기능별 어댑터와 파운데이션 모델 모두에 대해 성능 평가 수행
요약 어댑터 평가 사례:
이메일 및 알림 요약에 대한 제품 요구 사항이 미묘하지만 중요한 방식으로 다르기 때문에, 이러한 특정 요구 사항을 충족하기 위해 LoRA 어댑터를 팔레타이징된 모델 위에 파인튜닝함
훈련 데이터는 고품질 요약만 유지하는 거부 샘플링 전략으로 필터링된 더 큰 서버 모델에서 생성된 합성 요약을 기반으로 함
사용 사례별로 신중하게 샘플링된 750개 응답 세트를 사용하여 제품별 요약 평가
평가 데이터 세트는 제품 기능이 프로덕션에서 직면할 가능성이 높은 다양한 입력을 강조하며, 다양한 콘텐츠 유형과 길이의 단일 및 적층 문서의 계층화된 혼합을 포함
제품 기능으로서 실제 사용 사례를 대표하는 데이터 세트에 대해 성능을 평가하는 것이 중요함
어댑터가 있는 모델이 비교 가능한 모델보다 더 나은 요약을 생성한다는 것을 발견
Human Satisfaction Score on Summarization Feature Benchmark
데이터 표에 따르면 애플 온디바이스+어댑터 모델이 이메일과 알림 요약에서 Phi-3-mini 모델보다 더 높은 만족 좋음 비율과 더 낮은 만족 나쁨 비율을 보임. 어댑터가 있는 모델이 더 나은 요약을 생성함.
애플의 온디바이스 및 서버 모델은 다양한 난이도의 실제 프롬프트로 구성된 종합 평가 세트를 사용해 일반적인 기능을 평가함. 이를 비슷한 크기의 오픈소스 및 상용 모델과 비교한 결과:
온디바이스 모델(~30억 매개변수)이 Phi-3-mini, Mistral-7B, Gemma-7B 등 더 큰 모델보다 우수한 성능을 보임
서버 모델은 DBRX-Instruct, Mixtral-8x22B, GPT-3.5-Turbo와 견줄만하면서도 매우 효율적임
유해 콘텐츠, 민감한 주제, 사실성 측면에서 모델 성능을 테스트하기 위해 다양한 적대적 프롬프트 세트를 사용함. 온디바이스 및 서버 모델 모두 적대적 프롬프트에 직면했을 때 견고하며 오픈소스 및 상용 모델보다 낮은 위반율을 달성함
IFEval 벤치마크를 사용해 비슷한 크기의 모델과 지시 따르기 능력을 비교한 결과, 애플 온디바이스 및 서버 모델이 동급 오픈소스 및 상용 모델보다 자세한 지침을 더 잘 따르는 것으로 나타남.
다양한 작문 지침으로 구성된 내부 요약 및 작문 벤치마크에서 모델의 작문 능력도 평가함.
Writing Benchmarks
데이터 표에 따르면 요약과 작문에서 애플 온디바이스 및 서버 모델이 비교 대상 모델들과 견줄만한 좋은 성능을 보임.
<출처>
Subscribe to 'splash'
마케터를 위한 커뮤니티 'SPLASH'에 오신걸 환영합니다.
채널 구독하시고 성장을 위한 다양한 콘텐츠를 확인해 보세요!
본 채널에서 다루는 콘텐츠는 성장을 위해 스크립트 되고 있습니다.
Subscribe
👍
Other posts in '👩‍💻 AI'See all
Splash
구글을 겨냥한 오픈AI, SearchGPT 공개
✅ 간단 요약 SearchGPT는 웹 소스를 활용하여 신속한 답변을 제공합니다. 위치 정보를 활용하여 사용자에게 더 정확한 검색 결과를 제공합니다. OpenAI는 출처를 명확히 하고, 콘텐츠 소유자가 검색 결과를 관리할 수 있도록 지원합니다. 🗞️ 인상 깊은 문장 "OpenAI는 SearchGPT가 출처를 명확히 밝히고 링크를 제공한다고 강조합니다." SearchGPT는 사용자에게 더 나은 검색 경험을 제공하려는 OpenAI의 새로운 시도입니다. AI 검색 도구의 문제점을 해결하기 위해 출처를 명확히 밝히고 출판사와 협력하는 것이 중요합니다. 미래에는 이러한 책임 있는 접근이 AI 검색 도구의 신뢰성을 높이는 데 기여할 것입니다. 📝 핵심 정리 🌟 SearchGPT의 소개 OpenAI가 새로운 검색 기능인 SearchGPT를 공개했습니다. SearchGPT는 웹 소스를 활용해 '시기적절한 답변'을 제공하는 것을 목표로 합니다. 사용자는 질문을 입력하고, SearchGPT는 웹에서 정보를 찾아 사진과 관련 링크를 제공합니다. 🏗️ 사용자 인터페이스와 기능 SearchGPT의 인터페이스는 OpenAI의 ChatGPT와 유사합니다. 사용자는 추가 질문을 하거나 관련 검색을 사이드바에서 탐색할 수 있습니다. 일부 검색은 사용자의 위치 정보를 반영합니다. 🌍 위치 정보 활용 SearchGPT는 위치 기반 정보를 수집하고 공유하여 검색 결과의 정확성을 높입니다. 사용자는 설정 메뉴에서 더 정확한 위치 정보를 공유할 수 있습니다. 🔄 프로토타입과 출시 계획 SearchGPT는 GPT-3.5, GPT-4, GPT-4o 모델을 기반으로 합니다. 현재 소규모 사용자와 출판사를 대상으로 출시되었습니다. 미래에는 ChatGPT에 일부 기능이 통합될 예정입니다. 🚀 OpenAI의 목표 OpenAI는 웹에서 답변을 찾는 과정을 더 빠르고 쉽게 만들고자 합니다. 실시간 웹 정보를 활용해 모델의 대화 능력을 향상시키는 것이 목표입니다. 🤝 AI 검색 도구의 문제점 AI 검색 도구는 표절, 부정확성, 콘텐츠 카니발리즘 등의 문제로 비판받고 있습니다. Google의 AI Overviews와 다른 AI 검색 도구들이 부적절한 정보를 제공한 사례가 있습니다. 🌈 SearchGPT의 책임 있는 접근 OpenAI는 SearchGPT가 출처를 명확히 밝히고 링크를 제공한다고 강조합니다. 출판사와 협력하여 검색 결과에 콘텐츠가 어떻게 표시되는지 관리할 수 있는 방법을 제공합니다. 🛤️ 출판사와의 관계 SearchGPT는 OpenAI의 생성 AI 모델 훈련과는 별개로 운영됩니다. 출판사와 창작자 생태계의 번영을 위해 노력하고 있습니다.
👍💡
3
Splash
2024 WWDC, 애플 개인용 인공 지능 시스템 'Apple intelligence' 공개
iPhone, iPad, Mac 에서 통합적으로 사용가능 언어와 이미지를 이해 및 생성, 다수 앱에 걸쳐 액션 수행, 사용자 경험을 바탕으로 맥락을 파악하여 일상적인 업무를 간소화 및 가속화 새로운 쓰기 도구 : Mail, 메모, Pages, 서드파티 앱 등 글을 쓸 수 있는 대부분의 앱에서 사용자가 쓴 글을 재작성하고, 교정하고, 요약 메일을 종류별로 구분하고, 이메일 첫줄 대신 요약본을 표시. 빠른 스마트 답장 작성 메모 앱과 전화 앱에서 오디오를 녹음, 전사 및 요약 가능 통화 중에 녹음을 시작하면 당사자 모두에게 자동으로 녹음 사실이 알려지고, 통화를 마치면 AppleIntelligence가 요약본을 생성해 요점을 되짚어볼 수 있음 Image Playground : 이미지 생성기능을 자유롭게 테스트 가능. 애니메이션/일러스트/스케치 세가지 스타일 메일/메시지/메모등에서 바로 활용 가능하며, 별도 앱으로 제공되고, API로 개발자가 자신의 앱내에서 활용 가능 Genmoji : 순간에 딱 맞는 이모지를 생성하여 바로 사용 사진과 동영상 검색도 향상 자연어를 이용하여 구체적으로 검색 : 얼굴에 스티커를 붙인 케이티 동영상 클립 중간에 나오는 특정 장면을 검색하는 것도 가능 Siri가 더욱 자연스러워지고, 맥락을 더욱 잘 파악하는 데다 사용자를 더 잘 이해할 수 있게 됨 대화의 맥락을 이해하기 때문에 앞 내용과 이어지는 요청 가능 새로운 디자인: 활성화중에는 화면 전체 가장자리가 빛남 기기 사용에 관한 다양한 도움을 어디서든 제공하고, iPhone, iPad, Mac 사용법에 관한 수천 가지 질문에도 대답 화면을 인지하기 때문에 점점 더 많은 앱에서 화면 속 정보를 이해하고 사용자의 동의에 따라 필요한 동작을 수행 Apple 앱과 서드파티 앱을 넘나들며 수백 가지 동작을 새롭게 수행 가능 Apple Intelligence는 개인적인 상황 및 맥락에 대한 깊은 이해와 사용자의 개인정보 보호를 근간으로 함 기본적으로 온디바이스에서 모든걸 처리
Splash
구글 I/O 2024: 제미나이로 완전히 바뀌는 구글링
구글은 '제미나이 시대'를 선언했습니다. 이로 인해 IT 서비스에 큰 영향을 미칠 것으로 예상됩니다. 검색 결과 페이지가 AI로 생성되며 다양한 정보를 제공합니다. 제미나이는 식단, 여행 계획 등 복잡한 정보를 웹페이지로 정리합니다. AI 검색은 텍스트 기반 검색을 넘어 문장 위주 검색으로 트렌드가 변화할 것으로 보입니다.