Share
Sign In
Newsfeed
AI : "겨울 방학엔 AI도 놀아야죠"
chichead
👍
핵심요점
: 겨울 시즌에 ChatGPT가 특정 작업을 수행하기 꺼려한다고 느끼는 사용자들의 반응이 증가하고 있습니다. AI 모델의 성능이 일관적이지 않을 수 있고, 원인조차 확인되지 않아 우려가 발생하고 있습니다. 일각에서는 AI가 겨울방학 동안 작업을 덜 하는 것을 학습하기 때문에 겨울방학 시즌에 성능이 더 나빠질 수 있다고 추측합니다.
요점 뒷받침
11월 24일, Reddit의 한 사용자가 여러 항목이 포함된 CSV 파일 작성을 거부하고 대신 단일 항목만 템플릿으로 제공하는 ChatGPT의 문제점을 지적했습니다.
다른 사용자들도 11월 11일부터 11월 말 사이에 ChatGPT-4가 더 느리게 작동하거나, 작업을 거부하거나, 더 간단한 결과를 제공한다고 지적했습니다.
ChatGPT-4에 12월 날짜를 입력하면 다른 달에 비해 더 짧은 응답이 나오기도 했습니다.
OpenAI는 12월 1일에 모델의 '게으름'에 대한 보고를 인정하며 이 문제를 해결하기 위한 노력을 기울이는 동시에 다양한 사용자 요구를 지원하는 데 어려움을 겪고 있다고 밝혔습니다.
이러한 AI의 행동에 계절적 영향이 있다는 '겨울방학 가설’ 등 여러 추측이 제기되었습니다.
‘겨울방학 가설’은 GPT-4가 ‘겨울방학 동안 사람들이 작업을 덜 한다’는 것을 학습하기 때문에 12월에 성능이 더 나빠질 수 있다는 추측입니다.
원본 자료
Subscribe to 'orangemansion'
Welcome to 'orangemansion'!
By subscribing to my site, you'll be the first to receive notifications and emails about the latest updates, including new posts.
Join SlashPage and subscribe to 'orangemansion'!
Subscribe
👍
Other posts in 'Newsfeed'See all
chichead
넷플릭스는 정말 롱테일 법칙을 따를까?
넷플릭스와 롱테일 법칙 넷플릭스는 롱테일 법칙의 대표 사례로 일컬어집니다. 롱테일 법칙은 잘 팔리지 않는 상품들도 충분히 수요가 있고, 이 수요로 인한 매출이 인기 있는 상품의 매출에 버금간다는 뜻이죠. 애플 아이팟의 음원 서비스, 아마존의 도서 판매에서 하위 80%의 매출액이 전체 매출의 50% 가까이 차지하는 현상이 롱테일 법칙이라고 할 수 있습니다. 기존의 파레토 법칙에서 무시되었던 긴 꼬리의 영역을 확보하자는 접근이 바로 롱테일 법칙입니다. 기존의 전통적인 시장을 지배했던 건 파레토 법칙입니다. 과거 기업이 투입할 수 있는 자원과 얻을 수 있는 정보량은 제한적이었습니다. 그들이 경영 실적을 높이기 위해선 선택과 집중이 필요했고, 그렇게 선택과 집중이 이뤄진 결과는 파레토 법칙으로 이어졌습니다. 파레토 법칙은 상위 20%가 전체 생산량의 80%를 차지한다는 법칙을 말합니다. 스트리밍 서비스의 투명성을 높이기 위해 넷플릭스가 공개한 18,214개 타이틀과 타이틀 별 시청시간 데이터는 정말 롱테일 법칙을 따르고 있을까요? 참고로 넷플릭스가 공개한 보고서에 따르면 이번에 공개된 18,214개의 타이틀의 시청량은 넷플릭스 전체 시청량의 99%에 해당한다고 합니다. 50,000시간 이상 스트리밍된 타이틀만 포함된 수치인데, 넷플릭스 전체 타이틀 수와 크게 차이가 없는 것으로 추정되고 있습니다. 거의 모든 타이틀이 50,000시간 넘게 스트리밍 된다는 측면에서 롱테일 법칙을 따를 가능성이 높아 보이는데, 정말 그런지 확인해 봤습니다. 시청시간 상위 20% 타이틀이 차지하는 비율 일단, 넷플릭스에서 제공해준 데이터를 watch_times 라는 녀석에 넣었습니다. 그 중 시청시간은 Hours.Viewed라는 칼럼에 들어있고요. 시청시간 상위 20% 타이틀들의 시청시간을 다 합친뒤, 전체에서 얼마나 차지하는지 확인해봤습니다. The top 20% of titles account for 85.6 % of the total watch time. 상위 20%가 전체의 80% 넘게 차지한다? 넷플릭스 시청시간에서 우리가 익히 알고 있던 파레토 법칙이 등장합니다. 익히 들어왔던 만큼 넷플릭스는 당연히 롱테일 법칙을 따를 줄 알았는데 말이죠. 상위 몇 %가 전체의 절반을 차지하고 있을까? 그렇다면 넷플릭스 시청시간은 얼마나 파레토 법칙이 강하게 작용하고 있을까요? 그걸 확인해 보기 위해 상위 그룹과 하위 그룹의 합이 같아지는 시점을 찾아보겠습니다. 특정 포인트를 찾아, 해당 포인트 윗 그룹과 아랫 그룹의 합이 threshold를 넘기지 않도록 세팅해 보겠습니다. 넷플릭스 시청시간 데이터를 고려해 threshold 값은 1,000만으로 잡아두었습니다. Threshold point found at index: 713 Top total: 46723600000 Bottom total: 45939300000 함수를 돌려보니 713번째 타이틀이 threshold point로 계산됩니다. 713개라면 전체 18,214개의 3.9% 수준입니다. 정리해 보자면 넷플릭스의 상위 4% 타이틀들이 넷플릭스 전체 시청시간의 절반을 차지하고 있는 겁니다. 그렇습니다. 넷플릭스 시청시간은 롱테일 법칙이 아닌 파레토 법칙을 따르고 있습니다. 그것도 아주 강력하게요.
chichead
넷플릭스가 18,214개 콘텐츠의 데이터를 공개했다
핵심요점 불투명성으로 오랫동안 비판을 받아온 넷플릭스가 1년에 두 번씩 종합적인 시청자 인사이트를 공개하기로 했습니다. 12월 13일에 공개된 넷플릭스의 첫 보고서에는 18,214개의 타이틀과 타이틀 별 시청 시간을 공개했습니다. 넷플릭스는 앞으로 스트리밍 환경의 투명성 부족 문제를 해결하겠다고 약속했습니다. 요점 뒷받침 넷플릭스 CEO 테드 사란도스는 과거 넷플릭스의 투명성 부족이 할리우드에서 불신을 키웠다고 인정하고 상세한 시청자 데이터로 새로운 신뢰를 얻겠다는 목표를 세웠습니다. 넷플릭스는 앞으로 1년에 두 번씩 시청자 선호도에 대한 상세 보고서를 발표할 예정입니다. 12월 13일에 공개된 상반기 보고서(2023년 1월~6월)에는 18,000개 이상의 타이틀과 약 1,000억 시간의 시청 데이터가 담겨있습니다. 보고서에 담긴 데이터는 상반기 기간동안 전 세계에서 50,000시간 이상 시청한 모든 타이틀(18,214개)을 대상으로 합니다. 18,214개의 타이틀의 총 시청 시간은 934억 5,520만 시간에 달합니다. 2023 상반기 넷플릭스 시청 시간 Top 10 Rank Title Hours Viewed 1 The Night Agent: Season 1 812,100,000 2 Ginny & Georgia: Season 2 665,100,000 3 더 글로리
chichead
2023 AI 보고서 “State of AI 2023” 리뷰
State of AI 2023 매년 AI 기술의 현주소를 분석해 100페이지가 넘는 보고서를 작성하는 팀이 있습니다. 이 팀은 AI 기술에 투자하는 벤처캐피탈 Air Street Captital의 Genenral Partner인 Nathan Benaich가 이끌고 있죠. 이 보고서는 State of AI Report라는 이름을 달고 2018년부터 매년 발표되고 있습니다. 보고서는 크게 5가지 파트로 구성되어 있습니다. Research: 기술 혁신과 그 역량 Industry: AI의 상업적 적용과 비즈니스에 미치는 영향 Politics: AI 관련 규제, 경제적 영향 및 AI 정책의 지정학 Safety: 미래 AI 시스템이 우리에게 초래할 수 있는 치명적인 위험을 식별, 완화 Predictions: 앞으로 일어날 것으로 예상되는 일과 이전 보고서의 성과 검토 2023년의 AI 기술 역량뿐 아니라 산업 영역, 또한 정책 상황과 안보 이슈까지 총 망라한 State of AI 보고서는 이곳에서 볼 수 있습니다. 시간이 된다면 원문을 찬찬히 뜯어볼 것을 추천합니다. 오늘 이 글에선 State of AI 보고서의 주요 부분을 요약하고, 추가로 덧붙일만한 내용을 포함해 정리해 보았습니다. 1. Research 1-1. LLM 2023년은 단연 LLM의 해라고 할 수 있습니다. 수많은 LLM 중에서도 가장 인상적인 건 바로 GPT-4죠. OpenAI가 공개한 테스트 결과를 보면 GPT-4는 AI 벤치마크뿐 아니라 변호사 시험, 미국 대학원 입학시험(GRE), 코딩테스트 플랫폼인 리트코드(Leetcode) 등 인간을 대상으로 설계된 시험에서도 좋은 성적을 얻어 냈습니다. GPT-3과 GPT-3.5는 텍스트만 학습했었지만 GPT-4는 텍스트와 이미지 모두를 학습한 친구입니다. 또한 GPT-4는 이미지를 기반으로 텍스트를 생성할 수 있는 멀티모달 AI이기도 하죠. OpenAI는 GPT-4가 여전히 할루시네이션(오류가 있는 데이터를 학습해 잘못된 답변을 진실로 답변하는 현상) 이슈로 문제를 겪고 있다고 밝히고 있지만, 그럼에도 불구하고 AI를 속이기 위해 생성된 데이터 셋에서 다른 모델들보다 40% 높은 정답률을 기록하면서 성능면에서 상당히 앞서 있습니다. GPT-4의 성공에 힘입어 RLFH(Reinforcement Learning from Human Feedback)는 올해의 MVP라고 할 수 있습니다. RLFH는 사람의 피드백을 활용해 모델을 훈련시기는 방법인데, OpenAI의 ChatGPT뿐 아니라 Meta의 LLaMa-2-chat, Google의 Bard 등 채팅 애플리케이션의 LLM에는 RLFM이 핵심적인 역할을 하고 있죠. 그런데 RLFH을 적용하려면 모델 결과물을 평가하고 순위를 매길 사람이 필요한데, 그런 탓에 비용이 많이 든다는 단점이 있습니다. 또 ‘사람’이 평가를 한다는 점에서 편향성 문제가 따라다닙니다. 미국 언론에서는 RLFH가 놓치고 있는 노동, 인권 문제에 대한 탐사 보도가 나오기도 했습니다. 오류를 잡아내기 위한 인간의 피드백을 받는 과정이 사실상 노동 착취와 다름없다는 건데, 워싱턴포스트는 스케일 AI의 필리핀 원격 근무가 사실상 디지털 착취 공장(digital sweatshops)이라고 비판했습니다. 참고로 스케일 AI는 OpenAI나 Meta 등을 고객으로 두고 있고, 최근 미 국방부와도 계약을 체결했습니다. 1-2. Open vs Closed LLM을 두고 경쟁이 치열해지다 보니 개방성에서 멀어지는 움직임도 있었습니다. 일단 OpenAI는 GPT-4에 대해 제한적인 정보만 담긴 기술 보고서를 발표했고, Google은 PaLM2에 대해 거의 공개하지 않았습니다. 하지만 Meta 성님은 달랐습니다. 사실상 오픈소스의 희망으로 떠오른 Meta는 GPT-3.5를 따라잡을만한 경쟁력 있는 LLaMa를 출시했습니다. X(구 트위터)에서는 ChatGPT가 5,430회 언급되면서 LLM 중 가장 높은 언급량을 보였습니다. GPT-4와 LLaMA가 그 뒤를 이었습니다. 비공개 소스 모델이 많은 관심을 받고 있지만, 오픈 소스도 뒤지진 않습니다. 허깅페이스는 오픈 소스의 인기에 힘입어 2023년 8월에만 6억 건 이상의 모델 다운로드를 기록했습니다. 오픈 소스 모델은 Gradio나 Streamlit 같은 웹 배포 애플리케이션을 만나 접근성을 더 높이고 있는 추세입니다. Gradio의 월간 활성 사용자는 23년 1월 12만 명에서 8월 58만 명으로 급증했습니다. 1-3. Benchmark