중국의 인공지능개발 현황
2018년 전후로 중국 인공지능이 상당한 주목을 받았을 때가 있었습니다. 특히 신경망 분야에선 권위있는 논문이나 학자들도 다수 배출하였고 그들이 지금 인공지능 곳곳에서 우수한 논문을 쓰고 연구 개발을 하고 있습니다. 하지만 이상하게도 최근 LLM에서는 미묘하게 중국이 힘을 못 쓰는 모양세 입니다. 최근 연구에 따르면, 중국의 주요 언어 모델들이 서구 모델과 비교해 어떻게 성능을 발휘하는지에 대한 분석이 부족했습니다. 이에 Moonshot AI의 Kimi, Baidu의 ERNIE 4.0, Tsinghua University와 Zhipu AI의 ChatGLM2 등 중국의 주요 언어 모델들이 어떤 성능을 보이는지 테스트하였습니다. 이 테스트는 중국 모델들이 서구 모델보다 몇 년 뒤처진다는 주장에 의문을 제기합니다. 테스트는 영어 편집, 아이디어 브레인스토밍, 요약, 중국어 작성, 온라인 정보 검색 등 다양한 작업을 포함했습니다. 이를 통해 각 모델의 성능을 평가하고, 그들이 서로 어떻게 다른지, 또한 GPT-4와 어떻게 비교되는지를 분석했습니다. 특히 Kimi 모델은 GPT-4와 비교할 때 일부 측면에서 인상적인 성능을 보였습니다. 중국 모델들은 정치적으로 민감한 주제에 대한 대응에서 제한을 보였으며, 특히 ChatGLM은 정치적 내용에 대해 민감하게 반응했습니다. 또한, 중국 모델들은 때때로 잘못된 정보를 제공하는 현상(할루시네이션)을 보였습니다. 반면, Kimi는 웹에서 정보를 검증할 수 있도록 작동 링크를 인용하는 기능을 제공했습니다. 굳이 따지면, 중국의 LLM은 현재까지로선 GPT-4에 미치지 못합니다. 단, 이는 모든 모델이 그렇습니다. 전세계에서 오직 OpenAI의 GPT-4만이 안정적으로 가치있는 답변을 합니다. 다만, GPT-3.5 정도의 수준이라 생각하면 의외로 중국 모델들이 쓸모 있는게 꽤 있어 보입니다. 특히 kimi같은 경우 매우 준수한 성능을 보입니다. 중국에선 GPT-3.5/4를 사용할 수 가 없기에 대안으로서 에린이나 키미가 있을 것 같습니다만 꽤 오랫동안 LLM에 대한 연구를 행해온 중국이 의외로 조용하고 실제로 데이터로도 눈길을 끌만한게 없다는게 흥미롭습니다. 샘 알트먼이 올해 중순에 한 인터뷰를 인용하며 마칩니다. 허장성세가 아니라 진짜였네요. 미국인들은 임박한 중국의 LLM 개발 급증이라는 유령에 사로잡혀서는 안 됩니다. 중국의 인공지능 팀은 다른 곳에서 쏟아져 나오는 새로운 연구와 제품의 빠른 속도를 따라잡기 위해 싸우고 있으며, 종종 실패하고 있습니다. LLM 분야에서 중국은 해외 경쟁국보다 몇 달이 아니라 몇 년이나 뒤처져 있습니다. - 샘 알트먼 원문 Americans should not be haunted by the specter of an imminent Chinese surge in LLM development. Chinese AI teams are fighting — and often failing — to keep up with the blistering speed of new research and products emerging elsewhere. When it comes to LLMs, China trails years, not months, behind its international competitors.