??? : 인공지능 좀 해봐
Haebom
현대 사회에서 인공지능은 혁신의 상징이자 기업 경쟁력의 핵심으로 여겨지고 있습니다. 많은 기업들이 "우리도 인공지능 좀 해보자"라고 말하지만, 이 한마디에는 다양한 의미와 기대가 숨겨져 있습니다. 과연 인공지능 도입은 그렇게 간단한 일일까요? 보통 그들이 말하는 "인공지능"은 아래와 같은 의미를 지닙니다.
•
대충 그 뭐냐 기계가 다해주는 좋은거
•
뭔가 기술적 대세론과 위기감에 해야하는 무언가
•
그거 있잖아 요즘 핫한 거. 우리도 안하면 뒤처지는 거 아닌가?
•
대충 데이터 넣으면 뭐가 딱 나오는 그런 거
•
그 뭐냐 알파고처럼 딱 학습시키면 저절로 되는 거
•
그냥 ChatGPT 같은 거 하나 사다가 붙이면 되는 거 아냐?
•
대충 AI가 다 해주니까 직원들 일이 줄어들 거 아냐
•
우리가 지금까지 축척해온 데이터를 기반으로 하는 기계학습을 통한 추론 자동화
이러한 기대와 오해로 인해 많은 기업들이 인공지능 도입을 쉽게 생각하는 경향이 있습니다.
보통 이런 경우가 많습니다.
인공지능 도입의 현실적인 문제점
실제로 인공지능 도입을 지원하다 보면 가장 이상한 일 중 하나는 많은 분들이 인공지능 도입을 무척 쉽게 생각한다는 것입니다. 제가 운영하는 3blocks.ai는 기술 도입과 교육 분야에서 주로 매출을 내고 있는데, 대부분의 고객분들은 폐쇄망을 사용하시거나 보안이 엄격한 경우가 많습니다.
이런 환경에서는 이미 잘 만들어진 API를 가져다 쓰는 것이 효율적이지 않습니다. API를 활용해 서비스를 할 수 있는 곳은 대체로 보통 자유로운 인터넷망과 클라우드 환경에 익숙한 곳이고 이럴 경우, 기존 개발자분들이 토큰 최적화나 모델 서빙 방법 정도만 알아도 대부분의 것을 수행할 수 있습니다.
문제는 폐쇄망에서 인공지능을 도입하고 싶은 경우입니다. 이 경우, 많은 곳에서 최근 LLaMA 3 이상을 도입하고 약간의 한국어를 첨가해 훈련시킨 모델을 활용하려고 합니다. 모델이 기본적으로 성능을 어느 정도 낸다는 가정하에, 고객사의 기존 데이터를 RAG나 임베딩 형태로 적용하고자 하지만 대부분 기대보다 매우 낮은 성능을 냅니다. 큰 돈을 들이고도 원하는 결과를 얻지 못해 서로 민망하거나 비난을 받는 상황이 발생합니다.
데이터 전처리의 중요성
가장 큰 이유는 데이터 전처리가 전혀 안 되어 있다는 것입니다. 인공지능, 즉 기계에게 읽히게 하려면 기계가 읽을 수 있는 형태(Machine Readable)여야 하는데, 이것은 나름의 표준이 있습니다. 많이 쓰는 txt, csv, xml, html 같은 것들이 대표적입니다. 하지만 애매한 인코딩이 되어 있는 것들은 기계 입장에서는 읽을 수 없거나, 읽더라도 별도의 디코딩이나 처리가 필요합니다. (국내에서도 유명한 특정 확장자가 하나 있죠. 나라별로 하나씩 있는 느낌입니다.)
예전에는 이러한 방식이 Lock-in 전략으로도 유의미했고, 글로벌 시장을 노리지 않는다는 전제 하에서는 충분히 작동하는 방식이었기에 큰 문제가 없었습니다. 그러나 이제는 이러한 방식이 갈라파고스화의 원인이 되어버렸습니다.
데이터가 전처리되어 기계가 읽을 수 있는 단계(Machine Readable)에 도달하면, 기계가 이해하기 쉬운 형태로 다듬어야 합니다. 예를 들어 JSON이나 Markdown 형태로 정리해야 합니다. 하지만 대부분 여기까지 이야기하기도 어렵습니다. 일반적으로 기계가 읽을 수 없는 형태인 경우가 많습니다. 그것부터 정리해야 다음 단계로 진행할 수 있습니다. 많은 분들이 화면에 뜨니까 되는 거 아닌가? 하고 단순하게 접근하는 경우가 많습니다. (정말로 그렇습니다.) 다행히 IT 기술이 있거나 기본적인 이해가 있는 곳은 바로 넘어갈 수 있습니다.
청킹(Chunking) 전략과 방법론
여기서 이제 다양한 방법론이 사용됩니다. 예를 들어, 이제는 많이 알려져 대부분이 아는 RAG(Retrieval-Augmented Generation)만 하더라도, 기계에 학습시키기 위해 데이터를 넣어줘야 하는데 이것도 방법이 다양합니다. 청킹(Chunking), 즉 단어를 덩어리 형태로 분절해서 넣는 방식만 하더라도 아래와 같은 다양한 방법이 있습니다.
청킹 전략 | 장점 | 단점 | 적합한 상황 |
고정 크기 청킹 (Fixed-size) | 간단하고 빠른 구현 | 의미가 단절될 가능성이 큼 | 구조가 단순한 텍스트 |
의미 기반 청킹 (Semantic) | 의미적 일관성 유지, 중요한 정보 손실 적음 | 추가 계산 리소스 필요, 처리 속도 느림 | 복잡한 구조의 문서 |
재귀적 청킹 (Recursive) | 논리적 단위 유지, 크기 조절 가능 | 처리 시간이 오래 걸릴 수 있음 | 기본 청킹, 크기 조절 필요 시 |
문서 구조 기반 청킹 (Structure-based) | 문서의 논리적 구조 유지 | 문서 구조가 불명확하면 청킹 어려움, 모델 토큰 한계 문제 있음 | 보고서, 논문, 구조화된 매뉴얼 |
LLM 기반 청킹 (LLM-based) | 높은 의미적 정확도, 문맥 이해 우수 | 가장 높은 계산 비용, LLM의 한계 고려 필요 | 의미 이해가 중요한 복잡한 문서 |
과거에는 NLP 시절에 사람이 직접 하나하나 작업했다면, 최근에는 이것조차도 점점 사라져가고 있습니다. 데이터 전처리 회사들이 최근 피벗하고 있는 이유도 여기에 있는데, 예전에 사람을 써서 수동으로 분절하던 것과 LLM 기반 청킹의 비용 차이가 거의 나지 않다 못해 더 저렴해졌습니다. 굳이 단절되는 형태의 청킹을 할 필요가 없어졌고, Context Length만 확보되면 LLM에 넣고 "해줘"만 해도 잘 되는 상황이 발생합니다. (참고로, 이 모든 전제는 전처리가 된 데이터가 있을 때입니다.)
인공지능 도입 시 고려해야 할 사항
막상 인공지능을 도입하자고 하시는 분들 중에서, 데이터가 존재만 할 뿐 기계에게 읽게 할 수도, 학습시킬 수도 없는 상태인 경우가 많습니다. 저장되어 있다고 해서 이게 다 쓸 수 있는 데이터가 아니며, 용량이 크다고 해서 좋은 데이터도 아닙니다. 최근에 페타바이트(PB), 제타바이트(ZB)라는 규모의 데이터를 보유한 기업들을 보았습니다. 하지만 이렇게 방대한 용량의 데이터도 전처리가 되어 있지 않다면 활용 가치가 떨어집니다.
이것은 LLM 기반이든, 멀티모달 기반이든 큰 상관 없습니다. 물론 기술의 발전 속도를 보면 몇 년 안에 이것도 이제 "해 줘" 하면 해주는 시대가 올 것 같긴 하지만, 아직은 아닙니다. 그래서 저는 오히려 인공지능 도입하고자 하는 분들에게 "굳이?"라는 표현을 쓰는 경우가 많습니다. API를 가져다 쓸 수 있으면 쓰고, 만약 쓰기 어렵다면 로컬 모델을 빠르게 설치하기보다는 준비를 하는 것이 맞습니다.
넷플릭스 <흑백요리사> 9화 : 프렙(prep)이라는 요리전 밑작업 및 조리를 최적화 시켜 놓는 작업
흑백요리사에서 preparation로 소개되었던 요리 전 밑작업 및 조리를 최적화시켜 놓는 작업처럼, 대표님이 인공지능을 하자고 하면 일단 우리가 데이터가 있는지, 이 데이터가 전처리가 가능한 데이터인지, 데이터가 전처리할 수 있다면 어떤 전략으로 할 것인지, 그리고 더 나아가 어떤 목적으로 어떤 모델을 쓸지에 대해 충분히 이야기한 다음에 진행하시길 바랍니다. 모르겠으면 컨설팅이나 인공지능 도입 전략 상담을 받는 것도 추천합니다.
다짜고짜 인공지능 도입한다고 수억~수천짜리 계약을 수주해서 원하는 결과를 못 얻고 서로에게 상처가 되는 SI 업체와 원청들을 최근 자주 보는데, 일단 된다고 한 영업도 문제고, 그냥 해줘라고 하는 원청도 문제이긴 하지만, 애매하게 돈 아끼려다 쓸데없는 예산 낭비가 일어날 수 있습니다. 아니, 이미 발생하고 있습니다.
유튜브 <승우아빠> ~은/는 무조건 사드세요
현실적인 접근과 조언
연구 용역이나 이런 것을 주기 전에 위원이나 컨설팅 용역을 활용하시는 것도 추천합니다. 진짜로 눈탱이 맞는 경우를 너무 자주 봅니다. 이것은 대부분 공기업이나 공공기관에서 발생하는 문제인데, SI 업체들이나 기업들은 돈을 벌어야 하니 어떻게든 접근하려고 하는 것이고, 이것을 발주하는 원청에서 충분한 위원 구성이나 검토를 한 다음에 진행해야 합니다. 그냥 RFP 대충 쓰고 해달라고 하면... 안 됩니다.
세금이 아까워서 하는 말이기도 하고, 안타까운 사례를 최근에 너무 자주 목도해서 적는 글이기도 합니다. 인공지능 도입은 단순히 최신 기술을 적용하는 것이 아니라, 철저한 준비와 현실적인 계획이 필요합니다. 데이터 전처리부터 모델 선택, 그리고 목표 설정까지 모든 과정에서 전문가의 조언을 구하고 신중하게 접근해야 합니다.
무조건적인 인공지능 도입은 시간과 비용의 낭비로 이어질 수 있으므로, 충분한 사전 검토와 준비가 성공의 열쇠입니다. 성공적인 인공지능 도입을 위해서는 현실적인 접근과 준비가 필수적입니다.
'안광섭 ex)haebom' 구독하기
사이트를 구독하면 새 포스트 등 최신 업데이트를 알림과 메일로 가장 먼저 받아보실 수 있습니다.
Slashpage에 가입하고 '안광섭 ex)haebom'을 구독하세요!
Slashpage에 가입하고 '안광섭 ex)haebom'을 구독하세요!
구독
1
See latest comments
https://story.baemin.com/6487/