what I read & watch

Harness의 함정 많은 엔지니어는 하네스(AI를 통제하고 관리하기 위한 복잡한 프레임워크) 를 만드는데 몰두해왔음. 그런데 gemini3랑 antigravity가 그냥 해내는 태스크가 되어버림. 점점 이건 해자가 되지 못함. 현 시대에 엔지니어가 AI 시대에 가장 많은 역할을 하던 이유는 이 하네스를 잘 만들어서였음. 그래도 하네스는 사라지지 않는다. 추상화 계층이 높아질 뿐. 사람들은 더 편한 걸 찾고, 깔끔하게 포장된걸 원한다. 일반인이 사용하기에 cli 의 복잡도는 의외로 높다. 높은 에너지 준위를 가진 초기 프롬프트 내가 요즘 가지고 있던 생각과도 맞닿아있는데, 이 시대의 프로세스는 아주 작은 유저 의도를 가지고 많은 아티팩트가 창발(폭발)하고 있다. 마치 파레토의 법칙 같다. 20의 의도만 밀도있게 집중하면, 나머지 80은 모델이 해준다. AI에게 요청하는 사람은 가장 근본적인 목적성을 가지고 있고, 방향을 지시하며, 자신이 가진 Context를 압축해서 최대한의 밀도로 전달해줘야한다. 의도를 명확하게 가지는 것, 그리고 그걸 논리적으로 설명하는게 필요하다. Problem Holder와 Problem Solver 사이의 Time/Domain Gap 그렇다면 엔지니어링이 사라진 자리에 남는 것은 무엇인가. 문제 소유자(Problem Holder)와 문제 해결사(Problem Solver) 사이의Time Gap이다. 여전히 세상의 많은 비즈니스(Problem Holder)는 구시대의 방식대로 수십 명의 인력과 수백억 원의 비용을 들여 문제를 해결하고 있음. 반면, AI라는 새로운 무기를 쥔 소수의 Problem Solver 들은 동일한 문제를 단 5명, 5천만 원의 비용으로 해결할 수 있고, 여기서 오는 마진은 큰 보상이 될 것이다. 농업혁명 산업혁명

총알이 되지 말고 총이 되자. 주체적으로 방향을 제시할 수 있어야한다. 나이와 경력이 총과 총알을 가르는 main factor는 아니다. 인생은 수많은 선택이 쌓여서 만들어지고, 실리콘밸리, 테크, 엔지니어링에 있다는건 꽤나 축복. 코드와 미디어는 레버리지다. AI 가 생성한 생성물은 딱 평균을 할 것이다. 그런 시대일 수록 '디자인'이 중요해진다. 지능의 척도 IQ점수가 아니라 '인생에서 원하는걸 얻어내는가' 이다. 1. 원하는 것을 얻는 능력과 2. 뭘 원하는지 아는 능력이 필요하다. booby prize 원하지 않는 목표, 얻을 수 없는 목표를 쫒으면 안된다. 피터틸의 '욕망도 모방한다. Mimetic Desire'에 따라 수동적으로 조종된 상태로 살아간다. 장기 의사결정은 오래 탐색하자 사람들이 4년제 대학, 10년 이상의 직업, 혹은 평생의 배우자 선택에 너무 짧은 결정시간을 할애한다. 1만번의 iteration(학습과 오류수정) 단순 되풀이가 아니라 학습과 오류 수정을 통해서 다음 버젼을 시도해야 함.

텔레그램 창업자 파벨 두로프의 인터뷰 영상을 봤다. 사실 BZCF 영상을 본지는 1년이 넘었지만, 구루들의 생각과 인터뷰 영상들을 보고 내가 새롭게 얻게 된 정보는 무엇인지, 어떤 생각을 가지게 되었는지, 실천할 것은 무엇인지 적은 것은 처음이다. 이전에 적어두었던 내용들과 앞으로 보는 컨텐츠들은 나의 생각들을 담아 기록해볼 예정이다. 그렇지 않으면 휘발되고, 이걸 시청했던 시간들은 의미를 잃는다. 의제 설정권 방어. 알고리즘과 타인이 제공하는 정보에 홀린 듯이 반응하는 것은 나의 집중권/의제를 포기하는 행위이다. 스스로 중요하다고 판단하는 정보만을 주체적으로 찾고 소비해 나의 시간을 통제해야한다. 평균과 유행은 경쟁력 없다 모두가 같은 알고리즘으로 같은 컨텐츠/정보를 소비하면, 딱 평균의 안목과 통찰력을 가진다. 이 내용은 3개월 전 쯤에 나발의 팟캐스트에서도 들었던 것 같다. 결국 프로덕트들의 비용이 0에 가까워질 수록 taste 가 경쟁력이 될 거라는 내용이었다. 자신만의 철학을 가지고 이해하고 취향을 만들어 깊게 파고들어야한다. BZCF | 비즈까페how to get rich (부자되는 법) - 나발 또 다른 영상에서도 평균을 벗어나는 걸 언급한다. AI 가 생성한 생성물은 딱 평균을 할 것이다. 그런 시대일 수록 '디자인'이 중요해진다. BZCF | 비즈까페나발과 대화, 귀하다

Bitter Lesson이란 AI 연구 초기에는 체스 전략이나 문법 규칙처럼 도메인 지식, 더 구체적으로는 인간의 지식을 AI에 주입하는 방식으로 학습시키고자 했다. 이러한 방법론들은 단기적으론 성과가 있었다. baseline보다 더 좋은 성능을 가졌지만, 결국 승리하는건 방대한 computation을 기반으로 학습과 탐색의 일반적 방법론이었다. bitter lesson 번역 Andrej Karpathy가 테슬라의 FSD 팀 갈아엎은 사례. 온갖 휴리스틱과 rule base들의 집약체와 여러 비전 모델들을 Singular Learning Problem으로 바꾸면서 연산자원을 투입했고, 문제가 풀려버림. LLM은 mimicry Engines일 뿐이야 LLM 진영은 이 Bitter lesson의 computation의 증가가 올바른 방향이라는 서튼의 말을 보고 아군이라 여겼지만, 서튼은 다른 생각을 가지고 있었고 LLM이 막다른 길에 왔다고 이야기한다. 목적을 가지고 세상과 상호작용. 목적에 부합하면 올바른 예측, 아니면 올바르지 않은 예측. 그런 측면에서 LLM의 다음 토큰 예측 문제는 어떤 액션이 올바른지 아닌지가 아니고 모델이 목적을 가진 것도 아님. pre-training 은 인터넷 자료를 사용하는데, 이건 인간의 지식을 모델에 주입하려는 시도의 연장선일 뿐이다. 인터넷 없으면 AGI는 도달 불가능한가? 그게 정말 올바른 방법인가? 인간은 결과는 모방하더라도, 방법은 행위자 스스로 찾는다. 하지만 LLM의 모델은 결과만 모방한다. 다음 토큰 예측 방식의 한계: Reversal Curse 모델이 pre-training 단계에서 A는 B다를 학습해도 B는 A라는 답은 할 수 없음. 다음토큰 예측 방식이 단방향으로 학습하기에 발생하는 구조적 한계. A는 B이다. B는 ? 이런식으로 context로 정보를 넣어준다면 (in-context learning) 정보를 인출 할 수 있다. 모델이 Reasoning을 할 수 있게 되면서 맥락을 능동적으로 활용할 수 있게 되었다. 두가지 AI 접근방식의 충돌 서튼, 르쿤은 쥐나 개 같은 단순한 동물의 지능을 먼저 구현하고, 여기서부터 인간 수준으로 발전시켜야 한다는 관점을 가진다. 기본적인 인지기능과 학습에 대한 방법론을 구현하게 된다면, 인간수준까지의 진보는 빠를 것이라고 보는 것이다.

토큰 5억원어치 단순히 많이 사용한건 의미있지 않다. 어떤 모델을 써서, 어떤 output을 만들어냈고, 어떻게 검증할 것인지, 그게 유의미한 가치를 창출했는지가 중요하다. 생각들 모델에게 불가능은 없다라고 가정하자. 각 모델별로 특장점이 있고 편향이 존재한다. 따라서 메인모델만 사용하는 것이 아니라 task의 목적별로 delegate하는 것도 필요하고, 상호 토의도 유의미하다. 컨텍스트에 맡기기보다는 하고있는 작업을 markdown으로 지속적으로 회람시키는 것이 좋다. AI시대의 조직 콘웨이의 법칙. 소프트웨어의 구조는 그걸 만드는 조직의 구조를 닮아간다. 투영된다. AI가 만든 코드는 bus factor(핵심 지식을 가진 사람이 몇 명 빠지면 프로젝트가 멈춰버리는가에 관한 지표) 가 0이다. 이게 나쁜게 아니라 오히려 무한대로 고려할 수 있다. 모든게 공개되고, 모든 문맥이 공유된다. Ultrathink 이제 코드를 작성하는 행위는 쉽다. spec을 구체화하는게 중요하다. 앞단계를 구체화시켜,코딩 CLI의 부담을 코드 작성 자체에 집중하도록 하자. 작은 cycle을 만들어서 task를 하나하나 수행해나가며 Iteration을 돌린다. 에반게리온 MAGI 시스템. 3개의 컴퓨터. 상호검증시스템. 이게 가능해진 시대아닐까. surgical 프롬프팅 : 작은 spec만 수정하면서 출력결과를 원하는 방향으로 정밀하게 조정하는 기법. 도메인 전문가의 best practice를 distillation 하는 방법도 연구되어야한다. 언어 자체의 피드백

The Fog of Progress 프런티어에 없는 사람들이 프런티어에 대해 이야기한다. Q* 알고리즘. 서치하지 않고 RL해야한다는 이야기. 프런티어 밖에서는 Q알고리즘 A* 알고리즘같은 헛다리를 짚었다. 그렇다고 의미없지는 않다. 추론과 에이전트의 시대 멀티모달같은 문제를 내려놓고라도. 추론과 에이전트에 모든 자원을 쏟는다. 멀티모달이 풀려야 세상을 이해할 수 있다고 이야기하는 통념과는 좀 다르다. 텍스트의 한계? 텍스트, 언어가 가지는 의의는 남다르다. 텍스트는 이미지와 동일한 데이터가 아니다. 텍스트는 강력하고 지능에 근접하다. 텍스트에 대한 pre-training은 많은 task에 대한 학습을 하는 것. 텍스트는 이해가 발생한다. 이전의 맥락을 주었을 때, 부합하는 나머지 부분을 생성할 수 있다. 이게 이해라고 볼 수 있음. 텍스트는 사람이 만든 것. 인간의 관점과 성향을 배우는 것. 이미지는 자연에 그저 존재함. 인간은 이미지를 이해할 때도 기호적인 방식으로 이해함. Reasoning, inference, chain of thought inferecne : 디코딩, 샘플링. 모델이 텍스트를 생성하는 과정 Reasoning: 최종적인 답안을 생성하기 전에 사고와 유사한 텍스트 생성을 통해 답안을 준비하는 과정을 거치는 것. 요즘 Reasoning 이 CoT과 다른점 : RL을 사용함. 후반전 : 방법의 시대 -> 평가의 시대 평가할 수 있는 문제는 모두 풀 수 있다. 문제를 찾아야한다 -> 현실의 가치에 부합하는 평가를 찾아야한다 -> 평가 할 수 있다면 모든 걸 풀수 있다. ex. openai 할루시네이션 논문. post-training 단계에서의 발생 원인. 평가가 할루시네이션에 인센티브를 주기에 발생한다. verifiable < evaluation non-verifiable : 아레나에서 모델 결과 투표 같은 거. verifiable 하지는 않지만, evaluation 가능하다.