Apple Silicon은 LLM을 돌리는데 좋은 성능을 내나요?
Haebom
해봄의 아카이브
개인적으로 도움이 많이 된 게시글이라 저장용으로 스크랩합니다.
•
Apple Silicon은 아쉽게도 eGPU 등을 아직 지원하지 않습니다. (intel칩은 지원)
•
MacOS는 최근 기준으로 엔디비아 그래픽카드 지원이 어렵습니다. 따라서 CUDA 등의 사용이 어렵습니다.
•
물론 이러다보니 LLM을 돌리곤 할 떄 애플이 설계한 실리콘칩(CPU+GPU) 위에서 돌리곤 합니다.
•
개인적으로 llama 13B를 로컬에 놓고 이것저것 해보는데 큰 문제를 못 느끼고 있습니다. (동작은 되고 학습도 되긴 하니... 효율은 잘 모르겠고)
•
그래서 체감적으로만 느끼고 있던 벤치를 ggerganov가 공개를 해서 봤는데 애플이 실리콘 칩으로 ML 분야에 자신감을 보이는 이유를 알겠네요.
•
한 편으로 드는 생각은 라데온 포지션이 참 애매해 질 것 같다는 생각이 있습니다...
LLaMA 7B 기준으로 작성되었다고 함.
'haebom' 구독하기
사이트를 구독하면 새 포스트 등 최신 업데이트를 알림과 메일로 가장 먼저 받아보실 수 있습니다.
Slashpage에 가입하고 'haebom'을 구독하세요!
Slashpage에 가입하고 'haebom'을 구독하세요!