Sign In
해봄의 아카이브

Apple Silicon은 LLM을 돌리는데 좋은 성능을 내나요?

Haebom
개인적으로 도움이 많이 된 게시글이라 저장용으로 스크랩합니다.
•
Apple Silicon은 아쉽게도 eGPU 등을 아직 지원하지 않습니다. (intel칩은 지원)
•
MacOS는 최근 기준으로 엔디비아 그래픽카드 지원이 어렵습니다. 따라서 CUDA 등의 사용이 어렵습니다.
•
물론 이러다보니 LLM을 돌리곤 할 떄 애플이 설계한 실리콘칩(CPU+GPU) 위에서 돌리곤 합니다.
•
개인적으로 llama 13B를 로컬에 놓고 이것저것 해보는데 큰 문제를 못 느끼고 있습니다. (동작은 되고 학습도 되긴 하니... 효율은 잘 모르겠고)
•
그래서 체감적으로만 느끼고 있던 벤치를 ggerganov가 공개를 해서 봤는데 애플이 실리콘 칩으로 ML 분야에 자신감을 보이는 이유를 알겠네요.
•
한 편으로 드는 생각은 라데온 포지션이 참 애매해 질 것 같다는 생각이 있습니다...
LLaMA 7B 기준으로 작성되었다고 함.
Subscribe to 'haebom'
Subscribe to my site to be the first to receive notifications and emails about the latest updates, including new posts.
Join Slashpage and subscribe to 'haebom'!
Subscribe