노정석 팟캐스트 ep58
예
예준천
what I read & watch
카테고리
Empty
새로 알게 된 사람들.
Noam Brown
Dwarkesh
Ilya Sutskever
새로 배운 개념
harness : context engineering, RAG, DPO, 에이전틱 프레임워크, Rule-based tool calling 을 종합하는 표현. sclae 이 아닌 모든 것.
System1(직관) vs System2(추론) : 미적분을 처음 배울 때는 엄밀한 증명이 필요하지만, 익숙해지면 sys1의 단계로 들어와 적은 ttc 를 가지고도 풀수 있다.
인사이트
•
o1을 활용한 유즈케이스가 아직 부족하다.
•
스케일의 법칙은 여전히 유효하지만, 소프트 배리어는 존재할거다.
물리적으로는 가능하지만, 비용적 문제, 실리적 문제에 의해 자원을 덜 투입하는 경계가 존재한다.
물리적으로는 가능하지만, 비용적 문제, 실리적 문제에 의해 자원을 덜 투입하는 경계가 존재한다.
•
지식의 복리효과 :
드와케시는 AI를 활용하여 더 많은 지식을 빠르고 정확하게 학습한다.
이 AI 시대에도 끊임없이 공부하는 역량은 필수적이다. 아무리 모델이 발전해도 모델은 사용자의 문제를 해결하고자 학습되어있음. 결국 요구자의 역량만큼 이끌어 낼 수 있음.
드와케시는 AI를 활용하여 더 많은 지식을 빠르고 정확하게 학습한다.
이 AI 시대에도 끊임없이 공부하는 역량은 필수적이다. 아무리 모델이 발전해도 모델은 사용자의 문제를 해결하고자 학습되어있음. 결국 요구자의 역량만큼 이끌어 낼 수 있음.
•
에이전틱 시스템과 harness는 결국 목발과 같아 6개월 후에는 scale에 의해 의미가 없어진다.
그러면 결국 우리의 역할은 좋은 문제를 찾고, 꾸준히 자원을 투입하는 것.
그러면 결국 우리의 역할은 좋은 문제를 찾고, 꾸준히 자원을 투입하는 것.
•
뜬금없는 지식의 연결
최단거리 알고리즘 : A와 B를 잇는 최적의 개념 C를 찾는다.
최단거리 알고리즘 : A와 B를 잇는 최적의 개념 C를 찾는다.
TTC와 에이전트
•
광범위한 적용 가능성: 추론 모델은 코딩이나 수학과 같이 "쉽게 검증 가능한" 영역뿐만 아니라, "성공이 덜 명확하게 정의된" 심층 연구(Deep Research)와 같은 영역에서도 뛰어난 성능을 보임을 강조합니다. 그는 Deep Research 모델이 "성공을 쉽게 검증할 수 있는 지표가 없는 영역에서 이 모델들이 엄청나게 잘하고 있다는 존재 증명"이라고 말합니다.
•
현실세계에서는 체스게임에서 illegal movement를 한 뒤, 아ㅎㅎ 장난이었어. 할 수 없다. 이미 유리컵은 깨져있을 것이기 때문. 그렇기에 test time compute을 통한 simulation이 좋다.
Subscribe to 'Yejun Cheon'
Subscribe to my site to be the first to receive notifications and emails about the latest updates, including new posts.
Join Slashpage and subscribe to 'Yejun Cheon'!
Join Slashpage and subscribe to 'Yejun Cheon'!
