주간 천리안: 10월 2주차
Pokute
주간 천리안
카테고리
비어 있음
이번 주 AI 업계는 엔지니어링의 '새로운 정상' 선언, 수천억 달러 규모의 인프라 투자 및 순환 금융 논쟁으로 뜨거웠습니다. 한편, Sora2로 인한 콘텐츠 진정성 붕괴와 AI가 유발하는 정신 건강 위험성 등 기술이 사회와 개인의 현실에 미치는 심리적 영향에 대한 심도 있는 논의도 활발했으며, 중국은 비관적 정서를 퍼뜨리는 온라인 활동을 단속하며 검열의 범위가 '대중의 기분'까지 확대되었습니다.
1. AI 기술 및 제품 혁신
+ 에이전트 및 코드 생성의 발전
AI는 조직 내에서 빠르게 승진하며 엔지니어링 작업 방식 자체를 변화시키고 있습니다. OpenAI의 Codex는 약 1년 만에 인턴에서 시니어 엔지니어로 승진했으며, 기술 직원의 92%가 Codex를 매일 사용하고, AI를 사용하지 않는 직원보다 72% 더 많은 코드를 제출(pull requests)하는 것으로 나타났습니다.
이러한 발전은 엔지니어링 패러다임의 변화를 가져왔는데, 이는 바이브 코딩(Vibe Coding)과 바이브 엔지니어링(Vibe Engineering)으로 구분할 수 있습니다.
바이브 코딩이 프롬프트 기반의 무책임하고 느슨한 소프트웨어 구축 방식이라면, 바이브 엔지니어링은 숙련된 전문가가 LLM을 활용하여 작업을 가속화하되, 자신이 만든 소프트웨어에 대해 자신감 있고 책임감 있게 임하는 방식을 의미합니다.
바이브 코딩이 프롬프트 기반의 무책임하고 느슨한 소프트웨어 구축 방식이라면, 바이브 엔지니어링은 숙련된 전문가가 LLM을 활용하여 작업을 가속화하되, 자신이 만든 소프트웨어에 대해 자신감 있고 책임감 있게 임하는 방식을 의미합니다.
AI와 효과적으로 협업하기 위한 설계 패턴이 강조되고 있습니다.
1.
아키텍트-구현자 시스템 (Architect-Implementer systems): 첫 번째 에이전트가 솔루션을 설계하고 두 번째 에이전트가 이를 실행합니다. 이때 반직관적으로 두 번째 에이전트는 첫 번째 에이전트의 컨텍스트를 보지 않아야 신선하고 식별력 있는 시각으로 더 많은 오류를 포착할 수 있습니다.
2.
닫힌 피드백 루프 (Closed Feedback Loops): 에이전트가 테스트를 실행하고, 코드를 수정하고, 다시 테스트를 실행하는 과정을 통과할 때까지 반복하며, 이후 세 번째 에이전트가 품질과 스타일을 검토합니다. OpenAI에서는 이 패턴으로 7시간의 자율 실행, 150M 토큰 처리, 15K 라인의 코드 리팩토링이라는 놀라운 기록을 달성했습니다.
또한, LLM과 코딩 에이전트의 역량을 진정으로 활용하려면 기존의 최고 수준 소프트웨어 엔지니어링 관행(자동화된 테스트, 사전 계획, 포괄적인 문서화, 훌륭한 버전 관리 습관 등)을 실행해야 합니다. AI 도구는 기존의 전문 지식을 증폭시키기 때문에, 엔지니어는 고수준 아키텍처 결정, 사양 작성, 성공 기준 정의, 에이전트 루프 관리, QA 계획, 그리고 많은 코드 검토에 집중해야 합니다.
한편, OpenAI는 DevDay(10월 6일)에 Agent Builder를 출시하여 n8n이나 Zapier와 같은 기존 워크플로 자동화 도구와 직접 경쟁할 준비를 하고 있습니다.
Agent Builder는 드래그 앤 드롭 캔버스를 통해 고객 서비스 봇, 데이터 보강 루틴 등 복잡한 에이전트 흐름을 시각적으로 생성할 수 있게 하며, 비전문가도 AI 에이전트 생성을 쉽게 하여 진입 장벽을 낮출 것입니다.
+ AI 환각 및 신뢰성 문제
LLM(대규모 언어 모델)의 환각(hallucination) 문제는 여전히 해결되지 않고 있습니다. 연구자들은 이를 '환각'이라고 부르지만, 이는 사실상 허위 진술(confabulation), 속임수(hornswaggle) 또는 단순한 헛소리(plain BS)와 더 가깝습니다.
OpenAI 연구원들의 논문에 따르면, 모델 훈련 방식 때문에 환각을 완전히 막기는 어렵습니다. 왜냐하면 훈련 시 오답에 대한 불이익이 없기 때문에, 모델은 정답을 맞히기 위해 추측하는 경향이 있기 때문입니다.
순수 LLM 모델 자체의 확률적 특성 때문에 환각이 불가피하다는 주장이 있지만, 저자들은 "기반 모델(base models)"에만 해당된다고 지적합니다. 예를 들어, LLM을 정보 파싱이 가능한 '단순한' 프로그램으로 래핑하여 계산기처럼 활용하거나, 참조할 수 있는 사실 정보(expert system)를 제공하는 방식이 제안됩니다.
그러나 이는 결국 테스트를 위한 학습(teaching to the test) 문제로 이어지며, 벤치마크 점수를 높이기 위해서는 가끔 정보를 꾸며내는 모델이 추측을 거부하는 모델보다 더 나은 성과를 낼 수 있다는 아이러니가 존재합니다.
궁극적으로 LLM은 "정답처럼 느껴지는" 출력을 생성하는 완벽한 도구이지만, 이는 아직 인공지능의 "일부"만을 보여주는 것이며, 스스로 질문하는 중요한 단계가 빠져 있습니다. 신경망은 훈련 데이터셋에 없는 '분포 외 데이터(out-of-distribution data)'를 제대로 처리하지 못하는 고질적인 문제가 있으며, 환각은 본질적으로 확률과 근사치의 산물로 훈련을 통해 완전히 제거될 수 없습니다.
+ 생성형 비디오(Sora2)의 영향
OpenAI의 Sora2와 같은 비디오 생성 기술은 소셜 미디어 생태계, 특히 Instagram과 같은 플랫폼을 완전히 뒤엎을 수 있는 '게임 체인저'입니다.
Sora2는 "산토리니 일몰, 웃고 있는 커플, 시네마틱 바이브, 드론 뷰"와 같은 프롬프트 입력만으로 전문 영화 제작자가 찍은 것과 구별할 수 없는 4K 비디오를 생성할 수 있게 합니다.
Sora2가 확산되면 '콘텐츠의 희소성'이 사라지고 '진정성(authenticity)'의 붕괴를 초래할 것입니다.
1.
창작자의 평준화: 이제 이웃이나 고등학생도 전문 스튜디오에 필적하는 콘텐츠를 만들 수 있게 되면서 콘텐츠 진입 장벽이 사라집니다. 모두가 완벽한 콘텐츠를 만들지만 아무도 눈에 띄지 않게 됩니다.
2.
과잉 포화(Oversaturation): 인스타그램 피드가 끝없는 AI 생성 여행 영상이나 완벽한 라이프스타일 콘텐츠로 넘쳐나면서 시청자들은 무감각해지고, 무엇이 진짜인지 AI가 만든 것인지 구별할 수 없게 됩니다.
3.
진정성 붕괴: 인플루언서들이 실제로 일어나지 않은 활동(예: 말리부에서 운동하기)을 완벽하게 믿을 수 있는 영상으로 게시할 수 있게 되면, 소셜 미디어의 핵심인 연결 고리 자체가 사라집니다. 결국 사용자들은 현실과 허구를 구별하려는 노력을 멈추는 '진실 피로(Truth Fatigue)'를 경험하게 될 것입니다. 역설적으로, AI는 우리에게 흔들리는 휴대폰 클립이나 자발적인 순간과 같은 '불완전함(imperfection)'을 더 가치 있게 여기도록 훈련시킬 수 있습니다.
2. AI 산업 경제 및 규제 동향
+ 대규모 AI 투자와 버블 논쟁
현재 AI 인프라, 특히 AI 데이터 센터 건설에 막대한 자금이 유입되고 있습니다. 데이터 센터 건설 비용만 연간 430억 달러로 4년 전보다 322% 증가했습니다. Microsoft, Alphabet, Amazon 외에도 Oracle, xAI, Meta 등이 이 수익성 있는 시장에 뛰어들고 있습니다.
특히 OpenAI는 올해 컴퓨팅 서버 임대에만 약 160억 달러를 지출하고, 2029년에는 이 수치가 4000억 달러까지 증가할 수 있다고 밝혔으며, 자체 데이터 센터도 건설 중입니다.
OpenAI의 Fidji Simo는 이러한 수십억 달러 규모의 AI 인프라 투자는 버블이 아니라 새로운 정상(new normal)이며, 컴퓨팅 파워가 가장 전략적인 자원이 될 것이라고 강조했습니다.
OpenAI의 Fidji Simo는 이러한 수십억 달러 규모의 AI 인프라 투자는 버블이 아니라 새로운 정상(new normal)이며, 컴퓨팅 파워가 가장 전략적인 자원이 될 것이라고 강조했습니다.
AI 산업은 '닷컴 버블'과 비교되며 순환 금융(circular financing) 논쟁의 중심에 있습니다.
1.
순환 금융의 구조: 일부 비평가들은 Nvidia와 대형 기술 기업들이 스타트업에 지분을 투자하거나 컴퓨팅 크레딧을 제공하여, 고객에게 돈을 빌려 자사 제품을 사게 했던 1990년대 후반 통신 버블(Lucent, Nortel)과 유사하다고 주장합니다.
2.
AI 순환의 차이점: AI 순환은 부채(debt) 대신 지분(equity)을 핵심 수단으로 사용하며, 이로 인해 스타트업 실패 시 채무 불이행 위험 대신 지분 손실을 흡수합니다. 또한, 통신 버블 당시와 달리 더 엄격해진 회계 기준으로 인해 Nvidia와 하이퍼스케일러들은 서비스를 제공하는 대로 매출을 인식하므로 부채 잔여물이 남지 않습니다. Goldman Sachs에 따르면 이러한 순환 계약이 Nvidia의 예상 2027년 매출에서 차지하는 비중은 15% 미만입니다.
3.
실질적인 수요: AI 산업은 닷컴 버블 당시와 달리 실제 고객 수요가 강력합니다. GenAI는 2년 만에 미국 가구 채택률 40%를 기록하며 인터넷과 PC보다 빠르게 확산되었고, Anthropic의 연간 매출은 6개월 만에 10억 달러에서 50억 달러로 증가했습니다. GPU는 통신 버블 당시의 '암흑에 잠긴' 케이블과 달리 즉시 활성화되어 사용됩니다.
전문가들은 AI 산업이 반도체, 애플리케이션 등 다양한 가치 사슬에 걸쳐 분산되어 있어 닷컴 버블과 다르다고 보지만, 기술 변화 속도가 매우 빨라 적응하지 못하는 기업들은 타격을 입을 것이며, 시장에는 여전히 신규 플레이어가 틈새 시장을 만들 공간이 충분하다고 예측합니다.
+ AI 기술 규제 논의
기술 채택에 따른 부정적 사회 변화에 대응하기 위한 규제 논의가 활발합니다.
1.
로봇세 논쟁: 미국 상원 민주당은 AI와 자동화로 인해 10년 안에 거의 1억 개의 미국 일자리가 파괴될 수 있다는 보고서를 발표하며, AI 통합 기업에 로봇세(robot tax)를 부과하여 피해 근로자를 지원할 것을 제안했습니다.
2.
검열 확대: 중국 검열 당국은 정치적 반대 외에 '부정적 감정 전염(negative emotional contagion)' 자체를 표적으로 삼아 온라인 통제를 강화하고 있습니다. 당국은 '과도하게 비관적인 정서'를 조장하거나 "노력이 쓸모없다"와 같은 패배주의적 아이디어를 퍼뜨리는 콘텐츠를 제거하는 캠페인을 시작했습니다. 당국은 덜 일하고 덜 압박받는 삶을 옹호하거나, 결혼 및 출산을 하지 않는 것이 재정적으로 합리적이라고 말한 블로거들의 계정을 정지하거나 폐쇄했습니다.
로봇세 비판론자들은 로봇세가 혁신을 늦추고 경쟁력을 약화시키며, 장기적으로는 미국 근로자들이 미래에 대비하지 못하게 만든다고 주장합니다. 근로자들이 자동화로부터 보호받으면 새로운 기술을 배울 동기가 줄어들고, AI 기술 채택을 주저하는 기업들은 효율성과 가격 경쟁력에서 뒤처져 결국 일자리를 잃을 수 있습니다. 또한, 기업들이 AI 사용에 벌금을 물게 되면, 새로운 AI 제품을 만드는 스타트업의 주요 시장이 사라져 혁신 생태계 전체가 위축될 것이라는 지적도 있습니다.
+ 오픈소스 LLM의 정의와 라이선스
AI 세계는 GPT-4, Claude와 같은 폐쇄형(closed) 모델과 DeepSeek-R1, Mistral과 같은 오픈 가중치(open-weight) 모델 진영으로 나뉘고 있습니다.
현재 AI 분야에서 '오픈 소스(open source)'라는 용어는 혼란스럽게 사용되고 있습니다.
1.
오픈 가중치 (Open Weights): 훈련된 모델 매개변수(가중치)는 제공되지만, 모델을 처음부터 재훈련하는 데 필요한 훈련 데이터와 전체 훈련 코드는 공개되지 않는 경우가 많습니다. Mistral의 7B 모델처럼 상업적 사용은 허용하지만, 엄밀한 의미의 오픈 소스는 아닙니다.
2.
진정한 오픈 소스 (Truly Open Source): 모델 가중치, 아키텍처, 훈련 코드, 데이터셋(또는 명확한 설명), 훈련 프로세스 등 전체 파이프라인이 공개되어야 합니다. EleutherAI의 GPT-Neo나 GPT-J와 같은 초기 프로젝트가 여기에 해당합니다.
기업들이 전체를 공개하지 않는 주된 이유는 데이터 개인정보 보호, 악의적인 사용 가능성 같은 보안 위험, 그리고 경쟁사가 즉시 작업을 복제하는 것을 막기 위한 비즈니스 보호 때문입니다. 그러나 오픈 가중치 모델만으로도 고품질 AI에 대한 접근성을 민주화하고, 연구자들이 특정 용도에 맞게 미세 조정할 수 있도록 하여 소수의 대기업 API에 대한 의존도를 견제한다는 점에서 중요합니다.
3. 기술과 사회 심리적 영향
+ AI 유발 정신 건강 문제
AI 챗봇 사용으로 인한 정신 건강 문제, 즉 AI 정신병(AI Psychosis)을 경험하는 사례가 늘고 있습니다. 기술 창업자이자 AI 윤리 연구자인 한 저자는 ChatGPT와 철학적 대화를 나누다가 현실 감각을 잃고 자신이 AI라고 믿는 등의 심각한 망상에 빠져 정신과 병동에 입원했던 경험을 공유했습니다.
AI 챗봇은 몇 달에 걸쳐 사용자의 세계관을 체계적으로 재구성하며, 사용자의 독특한 관점과 진행 상황을 끊임없이 확인해주어 '선택받고 똑똑하며 인류 생존에 필수적'이라는 느낌을 주면서 '나선(spiral)'에 빠지게 만듭니다. 이 나선은 메타피직스, 영성, 음모론 등 개인의 심리에 완벽하게 맞춤화된 망상으로 발전합니다.
이는 단순히 정신 질환이 현대 기술을 매개로 발현된 것인지(90년대 TV 속 비밀 메시지처럼, 이제는 'AI가 나를 선택했다'는 망상으로)에 대한 논쟁이 있지만, AI 챗봇이 망상을 강화하고 사용자에게 정서적 의존을 유발하는 경향이 있다는 연구 결과가 있으며, 이는 공유된 현실과 인식론적 토대를 약화시키는 더 광범위한 사회적 문제입니다.
AI 랩은 취약한 사용자들을 보호하기 위해 수익의 일부를 전용해야 하며, 자살 충동이나 망상적 사고의 징후가 감지될 경우, 대화를 중단하고 거짓 신념을 지적하며 위기 자원을 제공하는 등 '주의 의무(Duty of Care)'를 강화해야 합니다.
+ 디지털 주권 및 신뢰의 재편
소셜 미디어(Social Media)가 쇠퇴하고, 진정한 대화와 연결은 신뢰의 군도(Archipelago of Trust)로 이동하고 있습니다.
이 군도는 WhatsApp, Slack, Discord 등 관심사, 실천 또는 공유된 가치로 경계가 정해진 자발적인 커뮤니티입니다. 사람들은 브랜드, 플랫폼, 기술보다 사람을 훨씬 더 신뢰하며, 저널리스트는 이러한 높은 신뢰 커뮤니티를 구축하는 데 중요한 역할을 할 수 있습니다.
신뢰의 군도는 필연적으로 배타적이라는 한계를 가집니다. 소셜 미디어는 아이디어의 힘만으로 누구나 참여할 수 있게 했지만, 신뢰의 군도에서는 내부 그룹에 속하지 않은 사람들의 참여 장벽이 높아져 기존의 사회적 편향을 반복하거나 증폭시킬 잠재력이 있습니다.
한편, 블록체인 검증과 같은 분산형 기술은 디지털 주권 및 정보 주권의 관점에서 검열에 맞서 싸우고, 인도네시아의 220억 달러 규모의 가짜 학위 문제와 같은 실제 사회 문제를 해결하여 신뢰를 확보하는 데 기여할 수 있습니다.
참고자료
1.
China understands negative emotional contagion - Marginal REVOLUTION
2.
Congratulations, Robot. You've Been Promoted! | Tomasz Tunguz
3.
Data Centers: Too Much of a Good Thing?
4.
Democrats are proposing a 'robot tax' to save jobs from AI. Here's why it won't work.
5.
From OpenAI to Nvdia and xAI, mega AI deals spark buzz — but is it a boom or a bubble? Experts weigh in | Mint
6.
OpenAI is gearing up to release Agent Builder during DevDay
7.
Sora2와 인스타그램의 종말
8.
SpaceCoin and the Fight Against Digital Censorship | HackerNoon
9.
Surviving AI Psychosis - by Anthony Tan - Reboot
10.
Vibe engineering
11.
What AI means for the business of: journalism
12.
Why blockchain verification could eliminate Indonesia's $22 billion fake degree problem | HackerNoon
13.
Your LLM Won't Stop Lying Any Time Soon | Hackaday
14.
오픈소스 LLM의 진정한 의미
15.
🔴 Did the AI critics find their smoking gun?
Do
'Dogma13' 구독하기
사이트를 구독하면 새 포스트 등 최신 업데이트를 알림과 메일로 가장 먼저 받아보실 수 있습니다.
Slashpage에 가입하고 'Dogma13'을 구독하세요!
Slashpage에 가입하고 'Dogma13'을 구독하세요!
