해봄의 아카이브

특정 언어는 인공지능에 있어 비효율적이다?

Haebom

2024년 4월 15일2년 전

자연어처리(NLP), 언어모델의 등장하고 토큰에 대한 이야기는 계속있었습니다. 그도 그럴게 자연어 처리에서 토큰이란, 텍스트를 의미 있는 단위로 나눈 것을 말합니다. 예를 들어, 문장을 구성하는 단어나 구두점 등이 토큰이 될 수 있습니다. 토큰화는 텍스트 데이터를 분석하고 처리하는 데 있어서 첫 번째 단계입니다. 토큰화를 통해 얻어진 토큰들은 검색 엔진, 기계 번역, 감성 분석 등 다양한 자연어 처리 응용 분야에서 사용됩니다. 각 언어의 특성에 맞는 토큰화 방법을 사용하는 것이 중요한 이유는, 그만큼 더 정확하고 효율적인 데이터 처리가 가능하기 때문입니다.

가장 비용이 낮은 언어들부터 시작해서, 프랑스어와 스페인어는 영어 대비 30%와 31% 정도 더 많은 비용이 드는 것으로 나타나는데, 이는 이들 언어가 영어와 구조적으로 비슷하고, 많은 어휘가 라틴어에서 유래했기 때문에 비교적 처리가 용이하기 때문일 것입니다. 그래프를 따라가며, 비용이 점차 증가하는 언어들을 볼 수 있고, 마지막으로 가장 높은 오버헤드를 보이는 언어들로는 중국어, 일본어, 아르메니아어, 버마어가 있습니다. 이들 언어는 각각 731%, 764%의 매우 높은 비용을 보입니다.

이러한 차이는 각 언어의 특성 때문에 발생합니다. 예를 들어, 중국어와 일본어는 문자 기반의 언어로, 영어처럼 띄어쓰기로 단어를 구분하지 않습니다. 또한, 이들 언어는 복잡한 의미를 가진 한자를 사용하기 때문에, 한자 하나하나를 이해하고 처리하는 데 추가적인 연산이 필요합니다. 아르메니아어와 버마어도 마찬가지로 고유의 문자 체계와 문법 구조를 가지고 있어, 영어와는 다른 방식으로 텍스트를 처리해야 하므로 비용이 더 많이 들 수밖에 없습니다.

예시

•

영어(English) : 영어는 띄어쓰기와 구두점을 기준으로 단어를 쉽게 구분할 수 있습니다. 예를 들어, 문장 "She likes apples."을 토큰화하면 ["She", "likes", "apples", "."]와 같이 분리됩니다.

•

한국어(Korean) : 한국어는 띄어쓰기만으로는 단어를 완전히 구분하기 어렵습니다. 예를 들어, "그녀는 사과를 좋아한다."라는 문장을 토큰화하려면, 단순히 띄어쓰기로 구분할 경우 ["그녀는", "사과를", "좋아한다"]가 되지만, 각 단어 내에서도 추가적인 분석이 필요합니다. "그녀는"은 "그녀"와 "는"(조사), "사과를"은 "사과"와 "를"(조사)로 더 세분화할 수 있습니다.

•

일본어(Japanese) : 일본어도 한국어와 비슷하게 띄어쓰기만으로는 충분하지 않습니다. 일본어는 또한 한글자 한글자가 다양한 의미를 내포할 수 있으며, 복합적인 조사 사용이 특징입니다. 예를 들어, "彼女はリンゴが好きです。"라는 문장을 토큰화하면, ["彼女は", "リンゴが", "好きです"]로 분리되며, 이를 더 세분화하면 각 요소의 조사나 어미를 더 자세히 볼 수 있습니다.

그렇기에 한국만 하더라도 "한국어에 최적화 된" 언어모델을 만들려는 시도가 많이 있습니다. 오히려 토큰화 효율이 안좋은 언어를 가진 국가들일 수록 영어 중심의 언어모델에서 벗어난 자체적 언어모델을 만드는 좋은 명분이 되었습니다. 보통 언어모델들이 비용을 측정하는 방식이 토큰이다 보니 토큰화 효율이 안좋은 언어들은 영어나 타 언어보다 몇배나 손해를 본다는 이유 입니다.

언어모델의 원리와 만들기

언어모델 언어 모델(Language model)은 주어진 단어들의 시퀀스에 대해 임베딩 표현(Embedding representation) 또는 벡터(Embedding vector)를 만들어 줍니다. 언어 모델을 통해 만든 임베딩 표현으로 주제 찾기, 감정 분류, 개체명 인식과 같은 분류 문제나 기계 번역, 요약 등 텍스트 생성 문제를 풀 수 있습니다.현재 언어 모델 중 가장 유명한 것은 GPT입니다. GPT는 Generative Pretrained Transformer의 약자로, 딥러닝 기반의 자연어 처리 모델입니다. GP

tech.kakao.com

ChatGPT가 한국어도 잘하는데 한국어 언어모델을 따로 만들 필요가 있을까

데보션 (DEVOCEAN) 기술 블로그 , 개발자 커뮤니티이자 내/외부 소통과 성장 플랫폼

devocean.sk.com

토크나이저를 특정 언어에 최적화 하면서 비용도 속도도 높이는 전략을 사용하는거죠. 물론, OpenAI나 Google에서 해줄거야! 같은 현실적인 말을 하는 사람들도 있었죠. 실제로 여러 전문가 및 강사 분들도 강연이나 SNS를 통해 영어로 질문하고 한국어로 답변 받는 등을 꿀팁으로 알려주시기도 했습니다.

그러던 오늘(2024년 4월 15일) OpenAI에서 일본 지사 설립과 함께 일본어 전용 토크나이저와 이것이 반영된 GPT-4를 공개했습니다. 이번에 공개된 일본어 최적화 GPT-4 모델은 기존 모델 대비 3배 빠른 속도로 작동하며, 일본어 텍스트 번역 및 요약 성능이 향상된 맞춤형 모델을 제공함으로써, 일본어 처리의 효율성과 비용 효과를 크게 개선하였다는게 OpenAI 측의 설명입니다.

일본은 G7 국가 중에서도 거의 유일하게 인공지능 규제 및 윤리에 있어서 친 OpenAI 행보를 보여왔습니다. 기업들도 빠르게 도입하는 모습들을 보여줬었구요. 개인적으로 이번 출시 소식으로 생각해 볼만한 것은 크게 두 가지 같습니다.

토크나이저 언어별 최적화 속도가 붙으면, 결국 SOTA 모델이 대중적으로 퍼지고, 보안이나 특정 목적으로 사용되는 모델만 유의미하겠구나. (로컬 LLM을 파인튜닝한다던지, sLM을 특정 서비스, 도메인, 앱에 심리스하게 합친다던지)

대한민국에서 한국어 전용 모델을 만드는 것 보다는 서비스와 맞춤형 도구 시장을 파는게 더 경제적이겠구나.

앞으로 OpenAI가 한국 진출을 언제 할지, GPT-n의 신화는 계속 될지 궁금하기도 하면서 걱정도 약간은 되는 소식이였습니다. 정부도 민간도 모두 집중 해야할 때 같습니다. 사실 작년만 하더라도 국내 언론에서 인공지능 기술이 일본은 약하다라는 뉘앙스가 많았는데 칼을 잘만드는 곳에서 꼭 철까지 캘 필요는 없죠..