2023 AI 보고서 “State of AI 2023” 리뷰
State of AI 2023 매년 AI 기술의 현주소를 분석해 100페이지가 넘는 보고서를 작성하는 팀이 있습니다. 이 팀은 AI 기술에 투자하는 벤처캐피탈 Air Street Captital의 Genenral Partner인 Nathan Benaich가 이끌고 있죠. 이 보고서는 State of AI Report라는 이름을 달고 2018년부터 매년 발표되고 있습니다. 보고서는 크게 5가지 파트로 구성되어 있습니다. Research: 기술 혁신과 그 역량 Industry: AI의 상업적 적용과 비즈니스에 미치는 영향 Politics: AI 관련 규제, 경제적 영향 및 AI 정책의 지정학 Safety: 미래 AI 시스템이 우리에게 초래할 수 있는 치명적인 위험을 식별, 완화 Predictions: 앞으로 일어날 것으로 예상되는 일과 이전 보고서의 성과 검토 2023년의 AI 기술 역량뿐 아니라 산업 영역, 또한 정책 상황과 안보 이슈까지 총 망라한 State of AI 보고서는 이곳에서 볼 수 있습니다. 시간이 된다면 원문을 찬찬히 뜯어볼 것을 추천합니다. 오늘 이 글에선 State of AI 보고서의 주요 부분을 요약하고, 추가로 덧붙일만한 내용을 포함해 정리해 보았습니다. 1. Research 1-1. LLM 2023년은 단연 LLM의 해라고 할 수 있습니다. 수많은 LLM 중에서도 가장 인상적인 건 바로 GPT-4죠. OpenAI가 공개한 테스트 결과를 보면 GPT-4는 AI 벤치마크뿐 아니라 변호사 시험, 미국 대학원 입학시험(GRE), 코딩테스트 플랫폼인 리트코드(Leetcode) 등 인간을 대상으로 설계된 시험에서도 좋은 성적을 얻어 냈습니다. GPT-3과 GPT-3.5는 텍스트만 학습했었지만 GPT-4는 텍스트와 이미지 모두를 학습한 친구입니다. 또한 GPT-4는 이미지를 기반으로 텍스트를 생성할 수 있는 멀티모달 AI이기도 하죠. OpenAI는 GPT-4가 여전히 할루시네이션(오류가 있는 데이터를 학습해 잘못된 답변을 진실로 답변하는 현상) 이슈로 문제를 겪고 있다고 밝히고 있지만, 그럼에도 불구하고 AI를 속이기 위해 생성된 데이터 셋에서 다른 모델들보다 40% 높은 정답률을 기록하면서 성능면에서 상당히 앞서 있습니다. GPT-4의 성공에 힘입어 RLFH(Reinforcement Learning from Human Feedback)는 올해의 MVP라고 할 수 있습니다. RLFH는 사람의 피드백을 활용해 모델을 훈련시기는 방법인데, OpenAI의 ChatGPT뿐 아니라 Meta의 LLaMa-2-chat, Google의 Bard 등 채팅 애플리케이션의 LLM에는 RLFM이 핵심적인 역할을 하고 있죠. 그런데 RLFH을 적용하려면 모델 결과물을 평가하고 순위를 매길 사람이 필요한데, 그런 탓에 비용이 많이 든다는 단점이 있습니다. 또 ‘사람’이 평가를 한다는 점에서 편향성 문제가 따라다닙니다. 미국 언론에서는 RLFH가 놓치고 있는 노동, 인권 문제에 대한 탐사 보도가 나오기도 했습니다. 오류를 잡아내기 위한 인간의 피드백을 받는 과정이 사실상 노동 착취와 다름없다는 건데, 워싱턴포스트는 스케일 AI의 필리핀 원격 근무가 사실상 디지털 착취 공장(digital sweatshops)이라고 비판했습니다. 참고로 스케일 AI는 OpenAI나 Meta 등을 고객으로 두고 있고, 최근 미 국방부와도 계약을 체결했습니다. 1-2. Open vs Closed LLM을 두고 경쟁이 치열해지다 보니 개방성에서 멀어지는 움직임도 있었습니다. 일단 OpenAI는 GPT-4에 대해 제한적인 정보만 담긴 기술 보고서를 발표했고, Google은 PaLM2에 대해 거의 공개하지 않았습니다. 하지만 Meta 성님은 달랐습니다. 사실상 오픈소스의 희망으로 떠오른 Meta는 GPT-3.5를 따라잡을만한 경쟁력 있는 LLaMa를 출시했습니다. X(구 트위터)에서는 ChatGPT가 5,430회 언급되면서 LLM 중 가장 높은 언급량을 보였습니다. GPT-4와 LLaMA가 그 뒤를 이었습니다. 비공개 소스 모델이 많은 관심을 받고 있지만, 오픈 소스도 뒤지진 않습니다. 허깅페이스는 오픈 소스의 인기에 힘입어 2023년 8월에만 6억 건 이상의 모델 다운로드를 기록했습니다. 오픈 소스 모델은 Gradio나 Streamlit 같은 웹 배포 애플리케이션을 만나 접근성을 더 높이고 있는 추세입니다. Gradio의 월간 활성 사용자는 23년 1월 12만 명에서 8월 58만 명으로 급증했습니다. 1-3. Benchmark
- chichead
