what I read & watch

Agent RFT 란 도구 호출(Tool Calling)과 내부 워크플로우를 강화학습으로 학습시키는 방법론. Public API 실시간 실행, Multi turn 워크플로우가 구축된 환경에서, 이 에이전트 자체를 학습시킨다. 이 학습을 통해, 에이전트는 리워드를 높이기 위해, 더 정답에 가까운 tool calling, 결과물을 만들게 된다. 보상 함수(Reward Function) 설계 방식 '무엇에 보상을 줄 것인가' 단위 테스트(Unit Tests): 코딩 에이전트의 경우, 모델이 작성한 코드가 테스트를 통과하면 보상을 준다. 실행 가능성: 도구 호출 문법이 올바른지, 실제 환경에서 에러 없이 실행되는지를 체크한다. 최종 결과 검증: 도구를 통해 가져온 정보가 사용자의 질문에 정확히 답했는지를 검증 루프(Verifier)가 판단한다. 성공적인 Agent RFT 를 위한 조건 명확한 작업 정의: 성공에 대한 정의가 모호하지 않고 명확해야 합니다. 주관성을 배제해야 한다. 데이터 일관성: 학습 및 평가 데이터셋이 실제 프로덕션의 데이터와 일치해야 한다. 탐색을 통한 학습: 모델이 여러 번 시도했을 때 더 나은 결과를 낼 확률이 있어야 하며, 이를 통해 스스로 좋은 행동과 나쁜 행동의 차이를 배워야 한다. 견고한 보상 함수: 모델이 보상 체계의 허점을 이용하지 않도록(Reward Hacking이 발생하지 않도록) 설계해야 하고, 단순히 성공/실패보다는 부분 점수를 주는 방식이 학습에 좋다.

코딩 AI를 기반으로한 AGI 사정권 devin 팀은 cluade 모델이 너무 발전해서 내부 구조를 바꿨다. 추론모델과 CLI Tool로 모델(모델 자체 & harness)은 자기증강이 일어나고 있다. RL VR. 뭐든지 보상신호만 줄 수 있다면 학습가능하다. TRM Supervised Learning만으로도 할 수 있는게 남아있다. 단일 도메인 task라면 알고리즘의 진보로 풀수 있는게 남아있다. 작은 모델들의 네트워크로 캄브리아를 만들 수 있지 않을까? super app 모바일 시대에서 일어났던 gate way position 을 가지는 슈퍼앱 쏠림 현상이 AI 시대에도 동일하게 될거다. 그 baseline이 이번 chatgpt 의 AppSDK. 진화의 과정 상상하기 MCP로 한두 기능 연결 AppSDK로 이 위에서 모든 걸 연결 OS와 연결되기. 새로운 폼팩터의 하드웨어로 seamless하게 사운드와 비디오스트림을 받아 24시간 나와 컨텍스트가 동기화되는 상황. 인터랙션할 때는 모바일에 의존하는. sam의 답변 : ai가 어디서나 따라다닐 것 grek의 답변 : 생성형 UI. 인터페이스가 형체를 바꾼다는 생각을 해야한다. 빅테크에서 AX 를 도와준다 구글에서도 델타 팀 만듦.

시대의 흐름과 개발자 coding 은 뜨개질이 된다. 필요해서 하는게 아니라 취미가 될 것. 정체성이 대체 당하는 것에 대한 회의감. 그렇다고 대세를 바꿀 수는 없음. 다행인건 빌더는 세상에서 계속 필요로 할 것임. 앤스로픽 대표 의회가 못하고 있는 레드라인을 민간 기업이 스스로 한계선을 정해두었다는 점. 진심으로 미국이라는 나라가 잘되길 바란다. 적대적 기업으로 지정되더라도 6개월간 서비스를 지속해서 연속성을 유지시켜줄 거라는게 인상적. AI의 구조적 불확실성. 이게 문제인가? 이걸 해결해야하는가? 라는 생각이 들긴함. 대체 불가능한 중국 AI 산업의 5단계 레이어: 에너지, 칩, 인프라(데이터센터), 모델, 애플리케이션. 중국은 강한 경쟁상대다. 에너지를 값싸게 공급하고, 칩/모델도 빠르게 성장한다는 포인트가 인상적이었다. 중국은 오픈소스 생태계가 강하고, 연구기관/학생/스타트업의 씨앗이 된다. 특히 화웨이는 5G를 통해 기술을 스며들게 하고 독점해 본 경험이 있어 더 경계해야 한다는 맥락이 기억에 남았다. openai 에이전트빌더 작년 10월에 공개된 agent builder. AX 프로젝트 하면서 이것저것 실험해봤다. openai 플랫폼에서 직접 튜닝한 모델들을 사용할 수 있는게 편리했다.

https://youtu.be/iTypFtxogNQ?si=jGjuZvmqtQUTDhsZ]( 예술가와 비즈니스맨 두가지 자아를 모두 가지는 게 중요. 비즈니스는 스포츠 게임처럼 점수를 올리면 좋은 답이 정해진 게임임. 빠르게 나오는 경쟁제품을 따라하다보니 '레고'같아야할 노션이 '딱딱한 플라스틱 덩어리'가 된 적이 있음. 소비자는 어떻게 써야할지 몰랐고, 버그는 쌓여감. (철학을 포기했을 때의 실패사례) 아름다움 실리콘 밸리 사람들은 주변에서 배움을 얻음. 과거와 다른 분야에서도 배울 점이 많음. 안간 본질과 자연섭리를 이해해 구현하는 것. 이런 곳에서 영감을 얻고, 아름다움을 제품에 녹여냄. 노션 : 지식노동자를 위한 레고 노션은 너무 많은 SaaS 를 레고처럼 통합하기 위해 만들어짐. AI 시대를 의도한건 아니지만, 노션은 AI를 위한 컨텍스트 엔지니어링(결국 필요한 정보를 한 곳에 모아 적절히 지능에게 제공하는 것)을 위한 최고의 장소가 됨. 노션이라는 플랫폼에서 조직의 지식과 문서, 협업을 위한 도구들을 모아둠. AI 노션 코딩/고객지원 같은 특수목적 에이전트가 성공적인 것은 사용맥락과 도구가 한정적이고 한곳에 모아져있기 때문. (매우 공감. 이미 AI의 지능은 다른 분야의 태스크도 처리할 수 있을만큼 똑똑하지만 손발과 눈이 부족한 것이라고 생각함.) 그럼에도 UI는 여전히 중요함. 인간은 AI가 만든 작업물을 감독할 것이고, 소통의 접점은 UI 임. eval 구축 : 각각의 단위 작업들을 두고, 잘 만들었는지 확인. 노션의 레고 블록이 대부분의 지식업무를 포괄하므로, 이걸 아는 에이전트는 기획,분석, 관리 등의 업무를 할 수 있는 지능을 학습하게 될 것. 어떤 역량이 필요한가. 실무 구현 능력보다는 judgement를 할 수 있는 안목이 더 중요해짐. 더 넒은 스펙트럼을 보고 AI의 결과물을 볼수 있는 능력. 주도성(agency)은 중요한 역량이 될 것임. 끊임없이 다양한 시도를 할 자세가 되어있는가. 철학 직관을 따른다. 조언은 맥락에 의존한다. 내면에서 답을 찾자.

Harness의 함정 많은 엔지니어는 하네스(AI를 통제하고 관리하기 위한 복잡한 프레임워크) 를 만드는데 몰두해왔음. 그런데 gemini3랑 antigravity가 그냥 해내는 태스크가 되어버림. 점점 이건 해자가 되지 못함. 현 시대에 엔지니어가 AI 시대에 가장 많은 역할을 하던 이유는 이 하네스를 잘 만들어서였음. 그래도 하네스는 사라지지 않는다. 추상화 계층이 높아질 뿐. 사람들은 더 편한 걸 찾고, 깔끔하게 포장된걸 원한다. 일반인이 사용하기에 cli 의 복잡도는 의외로 높다. 높은 에너지 준위를 가진 초기 프롬프트 내가 요즘 가지고 있던 생각과도 맞닿아있는데, 이 시대의 프로세스는 아주 작은 유저 의도를 가지고 많은 아티팩트가 창발(폭발)하고 있다. 마치 파레토의 법칙 같다. 20의 의도만 밀도있게 집중하면, 나머지 80은 모델이 해준다. AI에게 요청하는 사람은 가장 근본적인 목적성을 가지고 있고, 방향을 지시하며, 자신이 가진 Context를 압축해서 최대한의 밀도로 전달해줘야한다. 의도를 명확하게 가지는 것, 그리고 그걸 논리적으로 설명하는게 필요하다. Problem Holder와 Problem Solver 사이의 Time/Domain Gap 그렇다면 엔지니어링이 사라진 자리에 남는 것은 무엇인가. 문제 소유자(Problem Holder)와 문제 해결사(Problem Solver) 사이의Time Gap이다. 여전히 세상의 많은 비즈니스(Problem Holder)는 구시대의 방식대로 수십 명의 인력과 수백억 원의 비용을 들여 문제를 해결하고 있음. 반면, AI라는 새로운 무기를 쥔 소수의 Problem Solver 들은 동일한 문제를 단 5명, 5천만 원의 비용으로 해결할 수 있고, 여기서 오는 마진은 큰 보상이 될 것이다. 농업혁명 산업혁명

총알이 되지 말고 총이 되자. 주체적으로 방향을 제시할 수 있어야한다. 나이와 경력이 총과 총알을 가르는 main factor는 아니다. 인생은 수많은 선택이 쌓여서 만들어지고, 실리콘밸리, 테크, 엔지니어링에 있다는건 꽤나 축복. 코드와 미디어는 레버리지다. AI 가 생성한 생성물은 딱 평균을 할 것이다. 그런 시대일 수록 '디자인'이 중요해진다. 지능의 척도 IQ점수가 아니라 '인생에서 원하는걸 얻어내는가' 이다. 1. 원하는 것을 얻는 능력과 2. 뭘 원하는지 아는 능력이 필요하다. booby prize 원하지 않는 목표, 얻을 수 없는 목표를 쫒으면 안된다. 피터틸의 '욕망도 모방한다. Mimetic Desire'에 따라 수동적으로 조종된 상태로 살아간다. 장기 의사결정은 오래 탐색하자 사람들이 4년제 대학, 10년 이상의 직업, 혹은 평생의 배우자 선택에 너무 짧은 결정시간을 할애한다. 1만번의 iteration(학습과 오류수정) 단순 되풀이가 아니라 학습과 오류 수정을 통해서 다음 버젼을 시도해야 함.

텔레그램 창업자 파벨 두로프의 인터뷰 영상을 봤다. 사실 BZCF 영상을 본지는 1년이 넘었지만, 구루들의 생각과 인터뷰 영상들을 보고 내가 새롭게 얻게 된 정보는 무엇인지, 어떤 생각을 가지게 되었는지, 실천할 것은 무엇인지 적은 것은 처음이다. 이전에 적어두었던 내용들과 앞으로 보는 컨텐츠들은 나의 생각들을 담아 기록해볼 예정이다. 그렇지 않으면 휘발되고, 이걸 시청했던 시간들은 의미를 잃는다. 의제 설정권 방어. 알고리즘과 타인이 제공하는 정보에 홀린 듯이 반응하는 것은 나의 집중권/의제를 포기하는 행위이다. 스스로 중요하다고 판단하는 정보만을 주체적으로 찾고 소비해 나의 시간을 통제해야한다. 평균과 유행은 경쟁력 없다 모두가 같은 알고리즘으로 같은 컨텐츠/정보를 소비하면, 딱 평균의 안목과 통찰력을 가진다. 이 내용은 3개월 전 쯤에 나발의 팟캐스트에서도 들었던 것 같다. 결국 프로덕트들의 비용이 0에 가까워질 수록 taste 가 경쟁력이 될 거라는 내용이었다. 자신만의 철학을 가지고 이해하고 취향을 만들어 깊게 파고들어야한다. BZCF | 비즈까페how to get rich (부자되는 법) - 나발 또 다른 영상에서도 평균을 벗어나는 걸 언급한다. AI 가 생성한 생성물은 딱 평균을 할 것이다. 그런 시대일 수록 '디자인'이 중요해진다. BZCF | 비즈까페나발과 대화, 귀하다

Bitter Lesson이란 AI 연구 초기에는 체스 전략이나 문법 규칙처럼 도메인 지식, 더 구체적으로는 인간의 지식을 AI에 주입하는 방식으로 학습시키고자 했다. 이러한 방법론들은 단기적으론 성과가 있었다. baseline보다 더 좋은 성능을 가졌지만, 결국 승리하는건 방대한 computation을 기반으로 학습과 탐색의 일반적 방법론이었다. bitter lesson 번역 Andrej Karpathy가 테슬라의 FSD 팀 갈아엎은 사례. 온갖 휴리스틱과 rule base들의 집약체와 여러 비전 모델들을 Singular Learning Problem으로 바꾸면서 연산자원을 투입했고, 문제가 풀려버림. LLM은 mimicry Engines일 뿐이야 LLM 진영은 이 Bitter lesson의 computation의 증가가 올바른 방향이라는 서튼의 말을 보고 아군이라 여겼지만, 서튼은 다른 생각을 가지고 있었고 LLM이 막다른 길에 왔다고 이야기한다. 목적을 가지고 세상과 상호작용. 목적에 부합하면 올바른 예측, 아니면 올바르지 않은 예측. 그런 측면에서 LLM의 다음 토큰 예측 문제는 어떤 액션이 올바른지 아닌지가 아니고 모델이 목적을 가진 것도 아님. pre-training 은 인터넷 자료를 사용하는데, 이건 인간의 지식을 모델에 주입하려는 시도의 연장선일 뿐이다. 인터넷 없으면 AGI는 도달 불가능한가? 그게 정말 올바른 방법인가? 인간은 결과는 모방하더라도, 방법은 행위자 스스로 찾는다. 하지만 LLM의 모델은 결과만 모방한다. 다음 토큰 예측 방식의 한계: Reversal Curse 모델이 pre-training 단계에서 A는 B다를 학습해도 B는 A라는 답은 할 수 없음. 다음토큰 예측 방식이 단방향으로 학습하기에 발생하는 구조적 한계. A는 B이다. B는 ? 이런식으로 context로 정보를 넣어준다면 (in-context learning) 정보를 인출 할 수 있다. 모델이 Reasoning을 할 수 있게 되면서 맥락을 능동적으로 활용할 수 있게 되었다.

토큰 5억원어치 단순히 많이 사용한건 의미있지 않다. 어떤 모델을 써서, 어떤 output을 만들어냈고, 어떻게 검증할 것인지, 그게 유의미한 가치를 창출했는지가 중요하다. 생각들 모델에게 불가능은 없다라고 가정하자. 각 모델별로 특장점이 있고 편향이 존재한다. 따라서 메인모델만 사용하는 것이 아니라 task의 목적별로 delegate하는 것도 필요하고, 상호 토의도 유의미하다. 컨텍스트에 맡기기보다는 하고있는 작업을 markdown으로 지속적으로 회람시키는 것이 좋다. AI시대의 조직 콘웨이의 법칙. 소프트웨어의 구조는 그걸 만드는 조직의 구조를 닮아간다. 투영된다. AI가 만든 코드는 bus factor(핵심 지식을 가진 사람이 몇 명 빠지면 프로젝트가 멈춰버리는가에 관한 지표) 가 0이다. 이게 나쁜게 아니라 오히려 무한대로 고려할 수 있다. 모든게 공개되고, 모든 문맥이 공유된다. Ultrathink 이제 코드를 작성하는 행위는 쉽다. spec을 구체화하는게 중요하다. 앞단계를 구체화시켜,코딩 CLI의 부담을 코드 작성 자체에 집중하도록 하자. 작은 cycle을 만들어서 task를 하나하나 수행해나가며 Iteration을 돌린다. 에반게리온 MAGI 시스템. 3개의 컴퓨터. 상호검증시스템. 이게 가능해진 시대아닐까. surgical 프롬프팅 : 작은 spec만 수정하면서 출력결과를 원하는 방향으로 정밀하게 조정하는 기법. 도메인 전문가의 best practice를 distillation 하는 방법도 연구되어야한다. 언어 자체의 피드백

The Fog of Progress 프런티어에 없는 사람들이 프런티어에 대해 이야기한다. Q* 알고리즘. 서치하지 않고 RL해야한다는 이야기. 프런티어 밖에서는 Q알고리즘 A* 알고리즘같은 헛다리를 짚었다. 그렇다고 의미없지는 않다. 추론과 에이전트의 시대 멀티모달같은 문제를 내려놓고라도. 추론과 에이전트에 모든 자원을 쏟는다. 멀티모달이 풀려야 세상을 이해할 수 있다고 이야기하는 통념과는 좀 다르다. 텍스트의 한계? 텍스트, 언어가 가지는 의의는 남다르다. 텍스트는 이미지와 동일한 데이터가 아니다. 텍스트는 강력하고 지능에 근접하다. 텍스트에 대한 pre-training은 많은 task에 대한 학습을 하는 것. 텍스트는 이해가 발생한다. 이전의 맥락을 주었을 때, 부합하는 나머지 부분을 생성할 수 있다. 이게 이해라고 볼 수 있음. 텍스트는 사람이 만든 것. 인간의 관점과 성향을 배우는 것. 이미지는 자연에 그저 존재함. 인간은 이미지를 이해할 때도 기호적인 방식으로 이해함. Reasoning, inference, chain of thought inferecne : 디코딩, 샘플링. 모델이 텍스트를 생성하는 과정 Reasoning: 최종적인 답안을 생성하기 전에 사고와 유사한 텍스트 생성을 통해 답안을 준비하는 과정을 거치는 것. 요즘 Reasoning 이 CoT과 다른점 : RL을 사용함. 후반전 : 방법의 시대 -> 평가의 시대 평가할 수 있는 문제는 모두 풀 수 있다. 문제를 찾아야한다 -> 현실의 가치에 부합하는 평가를 찾아야한다 -> 평가 할 수 있다면 모든 걸 풀수 있다. ex. openai 할루시네이션 논문. post-training 단계에서의 발생 원인. 평가가 할루시네이션에 인센티브를 주기에 발생한다. verifiable < evaluation non-verifiable : 아레나에서 모델 결과 투표 같은 거. verifiable 하지는 않지만, evaluation 가능하다.

새로 알게 된 사람들. Noam Brown Dwarkesh Ilya Sutskever 새로 배운 개념 harness : context engineering, RAG, DPO, 에이전틱 프레임워크, Rule-based tool calling 을 종합하는 표현. sclae 이 아닌 모든 것. System1(직관) vs System2(추론) : 미적분을 처음 배울 때는 엄밀한 증명이 필요하지만, 익숙해지면 sys1의 단계로 들어와 적은 ttc 를 가지고도 풀수 있다. 인사이트 o1을 활용한 유즈케이스가 아직 부족하다. 스케일의 법칙은 여전히 유효하지만, 소프트 배리어는 존재할거다. 물리적으로는 가능하지만, 비용적 문제, 실리적 문제에 의해 자원을 덜 투입하는 경계가 존재한다. 지식의 복리효과 : 드와케시는 AI를 활용하여 더 많은 지식을 빠르고 정확하게 학습한다. 이 AI 시대에도 끊임없이 공부하는 역량은 필수적이다. 아무리 모델이 발전해도 모델은 사용자의 문제를 해결하고자 학습되어있음. 결국 요구자의 역량만큼 이끌어 낼 수 있음. 에이전틱 시스템과 harness는 결국 목발과 같아 6개월 후에는 scale에 의해 의미가 없어진다. 그러면 결국 우리의 역할은 좋은 문제를 찾고, 꾸준히 자원을 투입하는 것. 뜬금없는 지식의 연결 최단거리 알고리즘 : A와 B를 잇는 최적의 개념 C를 찾는다. TTC와 에이전트 Scaling Test Time Compute to Multi-Agent Civilizations — Noam Brown 광범위한 적용 가능성: 추론 모델은 코딩이나 수학과 같이 "쉽게 검증 가능한" 영역뿐만 아니라, "성공이 덜 명확하게 정의된" 심층 연구(Deep Research)와 같은 영역에서도 뛰어난 성능을 보임을 강조합니다. 그는 Deep Research 모델이 "성공을 쉽게 검증할 수 있는 지표가 없는 영역에서 이 모델들이 엄청나게 잘하고 있다는 존재 증명"이라고 말합니다. 현실세계에서는 체스게임에서 illegal movement를 한 뒤, 아ㅎㅎ 장난이었어. 할 수 없다. 이미 유리컵은 깨져있을 것이기 때문. 그렇기에 test time compute을 통한 simulation이 좋다.

There are only 2 point that actually capture the value providing AGI Infra vertical AI 점점 경계가 무너지고 있다. 우리의 선택 agi 위에서 api 서비스를 활용하여 일명 wrapper를 만들던지, vertical 하게 깊게 테슬라 같이 만들던가. 테슬라의 선순환 플라잉 휠 차 많이 팔림 -> 데이터 -> 더 정확한 ai -> 더 많이 팔림 27년이면 모든 영역에서 우리를 뛰어넘겠지. 사실 이미 거의 모든 영역에서 우리보다 뛰어남. TTC가 중요한 이유 verified reward function은 찾을 수 있다. explict reward fuction에 대한건 fronteer model이 다 해줄거야. distilled 된 모델로 저렴이로 비싼 성능 가능. 외우다 이해하다 와 해결하다 가 차이가 있나? 머리에 바로 떠오른는... 검증 불가능한 영역일 뿐. 사람의 가치판단이 들어간 non verifiable 한 데이터(정치, 셰익스피어)를 외우고 있음. 요새 내가 드는 생각 오히려 모름의 미학을 아는 ai가 필요할지도. a라는걸 모르기에 해낼 수 있는 생각. 스토리. 한마디로 사람으로 치면 라이프 스토리를 달리하고 싶다. llm wrapper는 ? 기술적 해자는 힘듦.