언어모델이 잘하는 일
여러 Language Model과 관련된 논문을 읽어보면 사례를 보통 7가지로 나누곤 합니다. 우리가 사용하는 방식들은 대부분 저 큰 카테고리의 파생 입니다. 추가적으로 들어간다면 좀 더 추론이 필요한 문제 예를 들어 수학문제 풀이 같은게 있습니다. 아래 나열된 7가지가 기본적으로 언어모델이 잘하는 영역이고 다른 분야는 아직 수련이 필요하다. 정도로 생각해주시면 됩니다.
텍스트 요약 Text Summarization
정보 추출 Information Extraction
묻고 답하기 Question Answering
텍스트 분류 Text Classification
대화 Conversation
코딩 Code Generation (텍스트 생성의 파생입니다.)
논증 Reasoning
인간도 마찬가지로 잘하는 일을 시켜야 잘합니다. 못하는 일 시키고 왜 못하냐고 하면 서럽기 그지 없듯이 인공지능이라 아직 서러움은 못 표현하더라도 우리가 원하는 것을 얻긴 다소 어려울 것 입니다. 따라서 내가 지금 인공지능에게 명령하고 있는 것이 과연 언어모델이 잘하는 것을 시키는 것인가 한 번 생각해 보아야 합니다.
언어모델은 검색엔진이 아니다 보니 검색이라는 개념으로 접근하시는 분들도 많은데 이게 사실 가장 큰 문제 입니다. 검색 엔진은 기존에 있는 것을 그대로 찾아서 보여주는 방식이라면 언어모델은 흩어져 있는 것들을 재조립하여 그때 그때 생성해 내는 방식 입니다. (왜 날씨를 물어보거나 뉴스를 물어보면 어버버하시는지 알겠죠?) 지금 서비스되고 있는 bing 같은 경우도 작동하시는 방식을 보면 언어모델로 정보를 추출해 내어 intent로 검색을 하는 방식으로 진행 됩니다.
현재 2030년 세계 엑스포 개최지 경쟁에 대한민국의 부산, 사우디아라비아의 리야드, 이탈리아의 로마가 참여하고 있었습니다. 그러나 최종적으로 사우디아라비아의 수도 리야드가 2030년 세계 엑스포 개최지로 선정되었습니다. 이 결정은 160개 이상의 국가가 투표에 참여한 결과로, 리야드가 로마와 부산을 제치고 119표를 얻어 개최권을 확보하였습니다.
이런 방식으로 작동 합니다. 2030년 액스포 개최지 후보 경쟁이라는 키워드를 추출하여 검색엔진에 검색 후, 결과를 요약하는 방식으로 진행 된 것을 알 수 있습니다. 이를 어렵게 말하면 intent을 추론하여... 어쩌고 할 수 있지만 뭐 찰떡 같이 알아먹는다 정도로 이해하시면 됩니다. 이걸 안다면 이제 우리는 인공지능을 이용하여 그림을 그리던, 정보를 요약하던, 슬라이드를 만들던, 보고서를 만들던 손 쉽게 할 수 있습니다.
ⓒ 2023. Haebom, all rights reserved.
출처 표시를 하고, 저작권자 허락 하에 영리적 목적으로 쓰일 수 있습니다.