최근 chatGPT 및 Gemini 등을 통해 인공지능에 대한 관심이 무척 뜨겁습니다. 오픈소스와 파인튜닝된 모델까지 하면 과장없이 매주 한 두개의 모델이 나오고 있는 실정입니다. 개인적으로 Prompting에 대해 이야기 하거나 강의를 지진행할 때, 모델에 구애받지 않고 사용가능한 기법들에 대해 이야기 합니다. 지금 주목을 받고 있는 대부분의 모델은 Transformer라는 방식의 모델입니다. GPT도 Generative Pre-trained Transformer 약자 이듯이 말이죠. 하지만, Transformer 방식의 모델이 나온 것은 2018년 즈음이였고 최근에서야 각광을 받고 있습니다. 이유는 간단했습니다. Transformer 모델은 자연어 처리 분야에서 혁신적인 성과를 보여준 모델입니다. 이 모델은 '어텐션 메커니즘(Attention Mechanism)'을 사용하여 문장 내의 단어들 사이의 관계를 효과적으로 학습합니다. 하지만, Transformer는 계산 비용이 높고, 긴 시퀀스 데이터를 처리하는 데 한계가 있기 때문 입니다. 물론, 인간의 기술발전과 각고의 노력으로 어떻게든 상용화 할 수 있을 정도로 최적화도 많이 되었고 경량화도 되었지만 여전히 무겁습니다. 이때 대안으로 다시금 떠오르고 있는게 SSM(State Space Models) 입니다. 사실 자연어 처리분야에서 쓰이던 개념이긴 한데 이것은 지금과 같은 언어모델이 각광 받는 시대에 Transformer의 단점을 메워줄 방법으로 다시금 주목을 받고 있습니다. SSM은 시계열 데이터를 효율적으로 처리할 수 있는 구조를 가지고 있습니다. 이 모델은 시간에 따른 데이터의 변화를 고려하여, 더 정확하고 빠른 예측을 할 수 있습니다. 또한, 계산 비용이 상대적으로 낮아서, 긴 시퀀스 데이터를 처리하는 데 효과적입니다. 이해를 쉽게 하기 위해 비교해보면 다음과 같습니다. 예를 들어, SSM을 일기 예보와 비교해볼 수 있습니다. 일기 예보는 과거와 현재의 날씨 데이터를 기반으로 미래의 날씨를 예측합니다. 이때, 각 날짜의 기온, 습도, 강수량 등의 데이터는 시간의 흐름에 따라 변화하는 시계열 데이터입니다. SSM은 이러한 시계열 데이터를 분석하고 예측하는 데 효과적인 모델로, 데이터의 시간적 변화를 고려하여 미래를 예측합니다. 반면, Transformer는 '어텐션 메커니즘(Attention Mechanism)'을 사용하여 데이터의 관계를 학습합니다. 이를 영화 추천 시스템에 비유할 수 있습니다. 영화 추천 시스템은 사용자가 과거에 본 영화들을 분석하여, 그와 비슷한 성격의 영화를 추천합니다. Transformer는 문장 내의 단어들 사이의 관계를 파악하여, 전체 문맥을 이해하는 데 강점이 있습니다. 하지만, Transformer는 많은 데이터와 복잡한 계산을 필요로 하며, 긴 문장을 처리하는 데 어려움이 있습니다. 이는 마치 영화 추천 시스템이 너무 많은 데이터를 분석해야 하거나, 사용자의 선호도가 너무 다양하여 정확한 추천을 하는 데 어려움을 겪는 것과 유사합니다. SSM은 이러한 Transformer의 한계를 극복할 수 있습니다. SSM은 시간의 흐름에 따른 데이터의 변화를 중요시하며, 더 적은 계산 비용으로 효과적인 예측을 할 수 있습니다. 이는 마치 일기 예보가 과거 데이터를 바탕으로 간단하면서도 정확한 미래 날씨를 예측하는 것과 같습니다. 즉, SSM은 시계열 데이터의 시간적 변화를 중요시하는 일기 예보와 같으며, Transformer는 데이터 간의 관계를 중요시하는 영화 추천 시스템과 비슷합니다. SSM은 Transformer의 계산적 한계와 긴 문장 처리의 어려움을 극복할 수 있는 대안적인 모델로 주목받고 있습니다. 개인적으로 SSM이 Transformer와 상호보안적으로 작동할 수 있을 거라고 생각합니다. 이 둘을 섞은 cocktail Model이 하나 나오지 않을까 하는 기대를 하며 다들 Transformer만 보고 있기에 SSM이라는 화두도 던져 보고 갑니다. 사실 이번에 구글에서 공개한 Gemini에서도 SSM의 특성과 Transformer의 특성을 활용 했다고 밝혔습니다.

"THE WEALTH OF WORKING NATIONS"는 일본 경제의 장기적 저성장을 다루며, GDP 성장률과 인구 고령화의 관계를 분석합니다. 일본은 1990년부터 2019년까지 낮은 GDP 성장률을 보였으나, 생산가능인구 1인당 GDP 성장률로 측정하면 미국과 비슷한 수준을 유지했습니다. 이는 인구 감소가 전체 GDP 성장률에 미치는 영향을 반영한 결과입니다. 이러한 관점은 한국의 현재 경제 상황에도 적용될 수 있으며, 저출산과 고령화가 경제에 미치는 영향을 새롭게 평가하는 데 도움이 됩니다. 논문은 이를 통해 인구 고령화가 진행된 나라들의 경제 성과를 올바르게 평가하는 새로운 시각을 제공합니다. 배울 점 인구 고령화 인식: 일본은 인구 고령화가 경제 성장에 미치는 영향을 인식하고, 이에 대응하는 정책을 수립했습니다. 한국도 이와 같은 인구 변화를 인정하고 경제 정책에 반영해야 합니다. GDP 측정 방식의 재평가: 일본은 전통적인 GDP 측정 방식이 인구 고령화를 반영하지 못한다는 점을 인식하고, 생산가능인구 1인당 GDP 성장률로 평가하는 방식을 도입했습니다. 한국 역시 GDP 측정 방식을 재고려할 필요가 있습니다. 경제 정책의 재조정: 일본은 경제 정책을 인구 고령화와 저출산 문제에 맞추어 조정했습니다. 한국도 유사한 문제에 직면해 있으므로, 경제 정책을 재조정하고 인구 구조 변화에 적응할 필요가 있습니다. 일본의 경우, 전통적인 GDP 성장률이 낮게 나타났지만, 생산가능인구 1인당 GDP 성장률로 볼 때 미국과 거의 유사한 성과를 보였습니다. 이는 일본이 인구 감소의 영향을 받았음을 보여줍니다. 이러한 분석은 한국의 현재 경제 상황에도 적용될 수 있으며, 저출산 및 고령화 문제에 대한 새로운 평가 방법을 제공합니다. 한국 경제의 현재 상황 2023년 3분기 성장률: 한국 경제는 2023년 3분기에 0.6% 성장했습니다. 이는 이전 분기와 동일한 수치로, 연간으로는 1.4% 성장을 기록했습니다​​. 2024년 성장 전망 하향: 한국은행은 2024년 한국의 경제 성장률 전망을 2.2%에서 2.1%로 하향 조정했습니다. 이는 내수 소비 감소와 긴축적 통화 정책을 반영한 결과입니다​​. OECD의 전망: OECD는 2024년 한국 경제 성장률 전망을 2.1%에서 2.3%로 상향 조정했습니다. 이는 수출 회복과 지정학적 긴장 완화를 반영한 것입니다​​. 쌓여있는 문제점 노동 문제: 고령화와 낮은 출산율로 인해 노동력 부족과 생산성 정체가 문제로 지적됩니다​​. 자본시장 도전: 공공 시장의 매력 부족과 사모 및 벤처 투자 시장의 활력 부족이 문제입니다​​. 산업 경쟁력 부족: 주요 산업의 경쟁력 저하와 중소기업의 낮은 생산성이 문제로 지적됩니다​​. 출산율 저하의 영향 사상 최저 출산율: 2023년 3분기 한국의 총출산율은 0.7로, 역대 최저치를 기록했습니다​​. 장기적 경제 영향: 출산율 저하는 장기적으로 노동력 부족과 경제 성장의 둔화를 가져올 것으로 예상됩니다. 일본이 1980년대 이후 저성장 구간에 들어가면서 우리는 흔히 일본의 경제침체를 보며 잃어버린 XX년이라며 이야기를 하곤 했습니다. 이제 대한민국도 그 차례에 서 있습니다. 대한민국도 일본과 같은 고령화, 저출산, 저성장이라는 3단 콤보를 맞이하고 있고 새로운 경제 정책이 필요한 상황입니다. 제가 주식투자 스터디를 운영하면서 구성원들에게 늘 하는 말이 있습니다. 정치를 보지 말고 정책을 봐야한다. 공약을 보지말고 예산을 봐야한다. 피상적인 보도를 볼 것이 아니라 현장을 봐야한다. 점점 이런 이야기가 뚜렷하게 다가오는 기간인 것 같습니다. 일본의 경우 일반적인 총 GDP를 가지고 경제 정책을 설계한 것이 아닌 생산가능인구 1인당 GDP 성장률을 관리했다고 하는데 이 부분이 무척 의미가 깊었습니다. 문제를 잘못 파악하면 애초에 아무리 훌륭한 풀이를 가지고 와도 진짜 문제는 해결되지 않는 것 처럼. 우리도 지금은 대한민국에 맞는 맞춤 지표를 찾아야 할 것 같습니다.

한 때, 실리콘벨리에선 팀을 키우는 것이 주요한 가치로 이야기 되던 때가 있었습니다. 당시 대형 기술 기업들이 조직 성장을 촉진하기 위해 경영진에게 팀 확장을 장려하는 인센티브를 제공하는 방식을 취했습니다. 특히 아마존(Amazon), 페이스북(Facebook), 구글(Google)과 같은 빠르게 성장하는 회사들이 좋은 예시 입니다. 당시 기사들을 보면 유래없는 속도로 팀을 늘리는 것에서 'Big tech'라는 용어와 하나의 Tech기업이 도시의 인구 만큼의 근로자를 데리고 있다고 주목하는 기사들이 있습니다. 이러한 풍조는 국내에서도 이어져 투자를 받은 스타트업이 급하게 팀을 늘리다 일의 규모와 팀의 규모가 맞지 않아 큰 위기를 초례하는 사례를 몇가지 보였습니다. 조직 성장에 대한 인센티브: 빠르게 성장하는 기업에서는 관리자들이 자신의 팀 규모를 확장함으로써 승진과 보상을 받을 가능성이 높아집니다. 팀의 크기가 커지는 것이 승진으로 이어지는 가장 쉬운 방법 중 하나로 여겨졌었습니다. 관리자 승진의 현실: 많은 경우, 관리자의 승진은 팀의 성과나 프로젝트의 성공보다는 팀 규모의 확장에 더 크게 의존합니다. 즉, 관리자는 프로젝트의 성공적인 완료보다는 팀 규모를 늘리는 데 더 많은 관심을 기울일 수 있습니다. 기술 회사의 영향: 이러한 문제는 특히 대형 기술 회사에서 두드러지며, 이러한 중간 관리자 입장에선 자신들이 회사에서 갖는 영향력과 리소스 때문에 관리자들이 팀을 확장하는 데 더욱 적극적일 수 있습니다. 하지만 발생한 부작용 프로젝트 및 팀 성장의 영향: 이러한 인센티브 구조는 관리자들이 팀의 규모를 늘리기 위해 새로운 프로젝트를 제안하거나 지원할 가능성을 높입니다. 이는 기업 내에서 과도한 팀 확장, 비효율적인 프로젝트, 또는 필요하지 않은 프로젝트에 자원이 투입되는 결과를 초래할 수 있습니다. 팀 크기 중심의 승진 모델의 문제점: 이 모델은 팀의 성과나 프로젝트의 성공보다는 단순히 팀의 크기에 중점을 두어, 실제로 조직에 기여하는 것보다는 조직의 규모를 확장하는 데 더 많은 관심을 가지게 합니다. 조직의 비효율성과 과도한 팀 확장의 속도와 비례 합니다. 팀원을 늘리는 것은 그만큼의 복잡성을 추가하는 일이고 이 방법은 무조건 팀의 생산성과 성과와 비례하지 않습니다.