공유
로그인
해봄의 아카이브
인공지능 모델 범람의 시대에 우리가 한 번 짚고 넘어가야할 SSM
Haebom
👍
2
작성자
  • Haebom
작성시각
최근 chatGPT 및 Gemini 등을 통해 인공지능에 대한 관심이 무척 뜨겁습니다. 오픈소스와 파인튜닝된 모델까지 하면 과장없이 매주 한 두개의 모델이 나오고 있는 실정입니다. 개인적으로 Prompting에 대해 이야기 하거나 강의를 지
진행할 때, 모델에 구애받지 않고 사용가능한 기법들에 대해 이야기 합니다.
지금 주목을 받고 있는 대부분의 모델은 Transformer라는 방식의 모델입니다. GPT도 Generative Pre-trained Transformer 약자 이듯이 말이죠. 하지만, Transformer 방식의 모델이 나온 것은 2018년 즈음이였고 최근에서야 각광을 받고 있습니다. 이유는 간단했습니다. Transformer 모델은 자연어 처리 분야에서 혁신적인 성과를 보여준 모델입니다. 이 모델은 '어텐션 메커니즘(Attention Mechanism)'을 사용하여 문장 내의 단어들 사이의 관계를 효과적으로 학습합니다. 하지만, Transformer는 계산 비용이 높고, 긴 시퀀스 데이터를 처리하는 데 한계가 있기 때문 입니다.
물론, 인간의 기술발전과 각고의 노력으로 어떻게든 상용화 할 수 있을 정도로 최적화도 많이 되었고 경량화도 되었지만 여전히 무겁습니다. 이때 대안으로 다시금 떠오르고 있는게 SSM(State Space Models) 입니다. 사실 자연어 처리분야에서 쓰이던 개념이긴 한데 이것은 지금과 같은 언어모델이 각광 받는 시대에 Transformer의 단점을 메워줄 방법으로 다시금 주목을 받고 있습니다. SSM은 시계열 데이터를 효율적으로 처리할 수 있는 구조를 가지고 있습니다. 이 모델은 시간에 따른 데이터의 변화를 고려하여, 더 정확하고 빠른 예측을 할 수 있습니다. 또한, 계산 비용이 상대적으로 낮아서, 긴 시퀀스 데이터를 처리하는 데 효과적입니다.
이해를 쉽게 하기 위해 비교해보면 다음과 같습니다.
예를 들어, SSM을 일기 예보와 비교해볼 수 있습니다. 일기 예보는 과거와 현재의 날씨 데이터를 기반으로 미래의 날씨를 예측합니다. 이때, 각 날짜의 기온, 습도, 강수량 등의 데이터는 시간의 흐름에 따라 변화하는 시계열 데이터입니다. SSM은 이러한 시계열 데이터를 분석하고 예측하는 데 효과적인 모델로, 데이터의 시간적 변화를 고려하여 미래를 예측합니다.
반면, Transformer는 '어텐션 메커니즘(Attention Mechanism)'을 사용하여 데이터의 관계를 학습합니다. 이를 영화 추천 시스템에 비유할 수 있습니다. 영화 추천 시스템은 사용자가 과거에 본 영화들을 분석하여, 그와 비슷한 성격의 영화를 추천합니다. Transformer는 문장 내의 단어들 사이의 관계를 파악하여, 전체 문맥을 이해하는 데 강점이 있습니다. 하지만, Transformer는 많은 데이터와 복잡한 계산을 필요로 하며, 긴 문장을 처리하는 데 어려움이 있습니다. 이는 마치 영화 추천 시스템이 너무 많은 데이터를 분석해야 하거나, 사용자의 선호도가 너무 다양하여 정확한 추천을 하는 데 어려움을 겪는 것과 유사합니다.
SSM은 이러한 Transformer의 한계를 극복할 수 있습니다. SSM은 시간의 흐름에 따른 데이터의 변화를 중요시하며, 더 적은 계산 비용으로 효과적인 예측을 할 수 있습니다. 이는 마치 일기 예보가 과거 데이터를 바탕으로 간단하면서도 정확한 미래 날씨를 예측하는 것과 같습니다.
즉, SSM은 시계열 데이터의 시간적 변화를 중요시하는 일기 예보와 같으며, Transformer는 데이터 간의 관계를 중요시하는 영화 추천 시스템과 비슷합니다. SSM은 Transformer의 계산적 한계와 긴 문장 처리의 어려움을 극복할 수 있는 대안적인 모델로 주목받고 있습니다.
개인적으로 SSM이 Transformer와 상호보안적으로 작동할 수 있을 거라고 생각합니다. 이 둘을 섞은 cocktail Model이 하나 나오지 않을까 하는 기대를 하며 다들 Transformer만 보고 있기에 SSM이라는 화두도 던져 보고 갑니다. 사실 이번에 구글에서 공개한 Gemini에서도 SSM의 특성과 Transformer의 특성을 활용 했다고 밝혔습니다.
'haebom' 구독하기
📚 Haebom의 아카이브에 오신 걸 환영합니다.
---
IT 💻, 경제 💰, 인문학 🎭을 관련 된 글을 올립니다.
제 생각과 관점 혹은 관심사가 궁금하시면 구독해주세요.
새 글이 올라오면 알려드릴까요? 🔔 네. 구독해달라는 뜻 입니다.
haebom@kakao.com
구독
👍
2
2023 엔비디아(NVIDIA)의 최우수 고객은 누구일까?
Omdia Research는 최근 <클라우드 및 데이터 센터 시장 업데이트> 보고서에서 H100 GPU의 출하량은 2023년 2분기 동안 900톤에 달했습니다. 이는 서버 제조업체가 조립 라인에 투입한 H100 GPU가 300,000개 이상이라는 것을 의미하며, 각 GPU의 무게(방열판 포함)를 약 3kg으로 가정한 수치입니다. 이러한 분석은 데이터 센터 투자 우선 순위의 변화와 AI 처리 작업을 위한 8개 GPU가 장착된 서버에 대한 수요 증가를 감안해 계산된 수치 입니다. 회사명 예상 판매량(대) 회사 설명 Meta 150,000 소셜 미디어 및 기술 서비스를 제공하는 글로벌 기업 Microsoft 150,000 소프트웨어 개발, 컴퓨터 하드웨어, 클라우드 컴퓨팅 서비스 전문 기업 Google 50,000 검색 엔진, 클라우드 컴퓨팅, 광고 기술 등을 제공하는 기술 대기업 Amazon 50,000 전자상거래 및 클라우드 컴퓨팅 서비스를 제공하는 세계 최대의 온라인 소매업체 Oracle 50,000 데이터베이스 관리 시스템 및 엔터프라이즈 소프트웨어 제품을 제공하는 다국적 컴퓨터 기술 기업 Tencent 50,000
👍
1
"메타버스"라는 단어를 보면 미간이 찌푸려지는 당신에게
어디를 가던 메뚜기떼가 문제입니다. 그들은 어떤 일이 생기면 우르르 몰려가 사람들의 시간과 재산을 갉아 먹고 새로운 곳으로 떠나갑니다. 시장에서 실제로 암호화폐, 메타버스, 인공지능이라는 흐름은 다소 비꼬는 방식으로 비춰져 왔습니다. 하지만 우리는 메뚜기와 뜯어 먹힌 곡식에 집중해선 안됩니다. 메뚜기는 거슬리고 곡식은 아깝지만 우리가 해야하는 것은 다음 농사를 짓기 위해 지기(地氣)를 보고 종자를 점검하고 농사 기법을 연구하는 것이 좋습니다. 환희와 절망은 휘발되지만 본질은 쌓아 올릴 수 있고 시간이 지나도 불변합니다. 솔직히 말하면 "메타버스"라는 키워드를 저는 매우 부정적으로 보아왔습니다. 적어도 제 주변에 있던 이들은 비슷한 생각을 많이했습니다. 이유는 간단합니다. 게임을 개발하거나 게임을 플레이 해본 사람들 입장에선 이게 왜 새삼스레 이야기가 되는지, 그냥 서브에서 메인 컬쳐로 올라간건가 정도로 받아드려졌고 당시에 메뚜기들이 창궐할 때라 더욱 거부감을 커졌습니다. 저는 이 문제의 대부분이 메타버스를 엔터테인먼트로 접근한게 문제라고 생각합니다. 게임업계나 혹은 기존에 있던 World Bulider 하다 못해 TRPG 플레이만 해봐도 개념적으로 메타버스를 유의미하게 이미 경험해본 사람들은 많습니다. 즉, 게임보다 더 나은 경험 혹은 기존에 있던 것 이상의 무언가를 주지 않으면 사람들 입장에선 굳이 이걸 여기서 왜 해야하죠? 라고 생각할 가능성이 매우 높죠. 그래서 다들 인공지능과 연구 자원으로서 엔비디아를 이야기 할 때, 다소 쉬어가는 느낌으로 NVIDIA Omniverse에 대해 이야기 해보고자 합니다. NVIDIA Omniverse는 NVIDIA가 개발한 실시간 3D 그래픽 협업 플랫폼으로, 다양한 산업 분야에서 3D 디자인과 시뮬레이션 작업을 통합하고 최적화하는 데 사용되는 제품입니다. 이걸 어디다 쓰냐? 제품 및 공장 설계를 개선, 스마트 시티 및 모바일 네트워크 배치하는데 사용되고 있습니다. 공장의 설비를 변경하거나 배치를 바꾸는 것은 상당히 많은 자원이 들어가는 행동 입니다. 그걸 그냥 도화지에 그림을 그려 하는게 아닌 시뮬레이션까지 돌려보는건 더 어렵죠. 전형적인 디지털 트윈 입니다. 엔비디아에서 보여준 데이터센터 설계와 열처리를 옴니버스에 구현한 사례 단순 End point에서 엔터테인먼트로 제공하는 것이 아닌 지속가능하고 실제로 경제적인 결정과 업무 효율화를 할 수 있는 메타버스 인 것이죠. 이게 개인적으로 생각하는 메타버스의 본질이라고 생각합니다. 우리는 어차피 오프라인을 살아가기 때문에 가상 공간에선 우리가 오프라인에서 하기 힘든 것 혹은 불가능한 것, 할 수는 있으나 기회비용이 많이드는 것을 하게 만드는 것이 메인입니다. 아바타 만들고 같이 모여 이야기하는건 메이플스토리에서도 리니지에서도 월드 오브 워크레프트에서도 가능했습니다. 그걸 웹으로 옮기고 원격근무니 뭐니로 포장해도 사실 본질은 현실의 대체인데 그게 대체가 될까요? 전 잘 모르곘습니다. 차라리 그냥 디스코드나 슬랙 허들로 해도 될 것 입니다. 그걸 아바타화 한다고 더 가치가 생길지 잘 모르겠습니다. 그래서 한 때 메타버스 사업을 부정적으로 볼 수 밖에 없습니다. (여전히 엔터테인먼트 개념으론 부정적으로 봅니다.) 세계를 만들기 위해선 사실 유니티, 언리얼 등과 같은 이미 멋진 서비스들이 있고 아마 이걸 CAD 형태로 전문가로 끌어올리거나 심즈 정도의 무언가를 제공하는 것은 점점 미묘해질 것 입니다. 그나마 가능성이 있는게 경제활동을 연결하는 것인데 쉽게 말해 게임업계에서 흔히 쌀먹이라고 불리우는 것을 좀 더 자연스럽게 만드는 거겠죠. 온라인 세상에서 노동 혹은 더 나은 경험을 제공하는 것인데 국내에서 가능성이 있어보이는 것은 칼리버스 정도 입니다. 롯데정보통신이 인수해서 3D하는 분들 많이 모셔가서 진심으로 만드는 것 같더라구요. 오히려 제페토, 로블록스는 게임으로서 가치를 내던지... 뭐 그래야할 것 같다는 생각이 있구요. 말이 잠깐 샜는데 엔비디아의 매력 중에 하나는 지금 인공지능에 대한 관심이 쏠린 김에 자연스럽게 자신들의 옴니버스를 잘 활용하고 있는거죠. Image to Text, Text to 3D라던지 프랍이나 오브젝트를 텍스트화해서 맥락에 맞는 검색을 하는 방식으로 LLM과 인덱싱을 활용하는 방법이라던지 의미있는 접근 방법이 많습니다. 여튼 메타버스라는 단어에서 일단 부정적으로 보기 보다는 이 기술이 왜 나왔고 우리는 어디에 주목해야하나 어떤 걸 주목해야하나를 고민해볼 수 있는 좋은 사례 같아 공유합니다. 눈 앞에 당장에 보이고 따가운 연기가 아닌 불이 일어난 화점을 보며 영리하게 생각해야합니다.
👍
2
온라인 명품 구매 시장의 위기
현재 명품 시장의 동향을 살펴보면, 명품 브랜드(LVMH, Kering 등)의 매출이 상승하는 반면, 온라인 명품 샵들의 매출은 감소하고 있는 상황이 생각보다 오래 지속 되고 있습니다. 소비자 구매 행동의 변화: 전통적으로 명품 브랜드의 매출은 고객들이 매장에서 직접 제품을 체험하고 구매하는 경험에 크게 의존하고 있습니다. 소비자들은 특히 고가의 명품을 구매할 때 물리적인 매장에서의 경험을 선호할 수 있으며, 이는 온라인 상점보다 오프라인 매장에서 더 강한 매출을 창출하는 요인이 될 수 있습니다. 고유 브랜드 가치: LVMH, 케어링과 같은 대형 명품 그룹은 강력한 브랜드 가치와 고유한 마케팅 전략을 통해 지속적으로 소비자의 충성도를 유지하고 있습니다. 이러한 브랜드들은 독특한 브랜드 경험을 제공함으로써 소비자를 끌어들이고 있습니다. 경제적 요인: 최근의 경제 불확실성은 소비자들의 지출 패턴에 영향을 미칠 수 있으며, 이는 온라인 쇼핑에 더 큰 영향을 미칠 수 있습니다. 특히 고가의 명품은 경제적 불확실성이 커질 때 구매를 주저하는 경향이 있습니다. 온라인 시장의 경쟁 심화: 온라인 명품 시장은 다양한 플랫폼과 경쟁자들이 존재하며, 이는 가격 경쟁과 함께 시장 포화로 이어질 수 있습니다. 이로 인해 일부 온라인 명품 샵들은 매출 감소를 경험할 수 있습니다. 실제로 Farfetch, MyTheresa, Yoox와 같은 온라인 명품 판매 플랫폼들은 주가가 크게 떨어지는 등 투자자들의 신뢰를 잃고 있습니다. 팬데믹 기간 동안 일시적인 성장을 보였음에도 불구하고, 이후 온라인 명품 시장은 수익성 문제와 경제적 불확실성, 소비자 행동의 변화 등 다양한 도전에 직면하고 있습니다. 반면, LVMH와 케어링과 같은 전통적인 명품 브랜드 기업들은 지속적인 성장을 이어가고 있습니다. 이러한 기업들은 강력한 브랜드 가치와 효과적인 마케팅 전략을 통해 고객 충성도를 유지하며, 오프라인 매장에서의 독특한 경험을 제공함으로써 고객을 유치하고 있습니다. 개인적으로 이 오프라인에서의 경험이 무척 중요하다고 생각합니다. 결국 기성품과 명품을 가르는 건 사회적 가치라고 생각합니다. 경제적 가치(가격)도 이 사회적인 인식으로 메겨진다고 생각합니다. 실제로 최근 명품만큼 퀄리티나 디자인적으로도 무척 우수한 컨템포러리 브랜드들이 나타나고 있기에 이는 계속 상향 평준화 될 것입니다. SPAO 같은 부류는 유니클로 등과 같은 고유의 포지션이 있을 거구요. Farfetch, MyTheresa, Yoox는 코로나 기간에 폭발적인 성장을 한 온라인 명품 구매 서비스 입니다. 당시 양적완화로 풀린 돈과 이런 다양한 채널은 온라인 명품 시장을 빠르게 키웠습니다. 하지만 최근 이들의 실적은 처참합니다. 명품 시장 전체가 불황이면 그냥 경제적 상황이 나쁘니 명품 소비가 줄어든거구나 생각하겠지만 전통적 명품 기업들은 다시 회복세를 보이고 있으니 더욱 온라인 명품 판매에 대한 우려가 나오고 있습니다. 개인적으로 오프라인(백화점 혹은 플래그십)에서 수천 정도를 써봤고 온라인에서도 천조금 넘게 사용을 해봤는데 고객 경험 자체가 너무 다릅니다. 대우를 받는다기 보단 호구잡힌 느낌이랄까... 여튼 그렇습니다. 가끔 명품 온라인 판매 업체들이 가격을 경쟁력으로 내세우는데 이건 큰의미가 없다고 생각합니다. 단기적으로는 매출을 올릴 수 있으나 애초에 가격을 따지며 명품을 구매하는 이들은 리텐션이 높을 수 없습니다. 개인의 입장에서도 아무리 저렴하다고 해도 반복해서 소비를 하는 건 스스로의 경제적 사정에도 어려울 것이구요. 결국은 대우 받는 경험과 사회적 가치를 경험하게 해주는 것인데 이것을 오히려 잘하는 곳들은 압구정로데오~청담에 있는 오프라인 명품 편집샵들이 무척 잘합니다. 브랜드에 구애받지 않고 오히려 고객 경험도 유사하게 해주니까요. 온라인 명품 시장이 레플리카와 가격 경쟁을 펼칠때 기존의 명품 브랜드들은 고객 경험과 더 나은 대우로 그들이 잘하는 걸 더 강하게 밀고 있습니다.