최근, AI 업무자동화에서, 분류 작업에서, 비정형 텍스트 분류작업을 활용하는 사업아이템을 외주형태로 모색중에 있다.
비정형 텍스트 분류작업을 효과적으로 활용하는 업무 영역의 경우, VOC (voice of customer)가 가장 잘 형성돼있는 시장 중에 하나였고, 이처럼 텍스트 마이닝 기법들을 활용해서 마케팅 분야에 유용하게 쓸 수 있을 것이라고 생각하고 있었다.
그래서 팀원 K는 마케팅 쪽으로 계속해서 탐색을 진행하고 있었고, 나도 조금씩 커피챗을 통해 마케팅에서 우리가 기여할 수 있는 부분이 어떤 것인지 모색하고 있다.
이번주는..
동인님(참치 상사)와의 만남
지난주 수요일, 동인님이 최근 내가 업무 자동화 시장을 외주 형태로 탐색하고 있다는 심지 회고 글을 보고 연락을 주셔서, 동인님이 운영하시는 참치상사의 제품에 대한 외주 개발 관련해서 미팅을 가지게 되었다.
비록 내가 사업아이템 탐색 목적으로 외주를 지향하는 것이어서, 완전히 동인님이 희망하시는 방향의 외주 개발은 성사되지 않았지만, 공통적으로 관심 있는 부분인 '지역 카페 모니터링을 통한 이슈 파악'을 발견하게 되었다.
마케팅에서 트렌드 파악 목적 또는 시장 조사 목적으로 SNS 글을 계속 확인하거나, 카페의 글을 분석한 후 이를 필요에 따라 잘 볼 수 있는 형태로 재가공하는 방향을 계속 염두에 두고 있었고, 네이버 카페를 모니터링 하는 프로세스를 구축하면 마케팅 쪽에서도 확장할 수 있을 것 같다는 생각이 들었다.
텍스트 마이닝 기법 개발
내가 구상한 파이프라인은 다음과 같았다.
1.
네이버 카페에서 로그인 정보를 기반으로 자동으로 특정 날짜 까지의 글을 크롤링.
2.
크롤링 된 글을 정제해서 분석할 수 있게 전처리 과정.
3.
전처리한 결과를 바탕으로 AI 기법 & 전통적인 자연어 처리 기법을 활용하여 '이슈(?)'를 추출.
4.
추출된 이슈 & 결과 들을 웹 형태로 시각화.
우선 기술적으로 어떤 식으로 작동하는지 구현하면서 알아보았다.
1.
크롤링 하는건 굉장히 쉽고 간단했다. Python의 selenium을 활용해서 HTML 정보를 파싱해오고 관련 tag를 추출해서 text정보를 얻어오기만 하면 된다. 예전에도 해본적이 있어 굉장히 수월하게 했다.
2.
전처리 과정이 좀 골치가 아팠는데, 영어와 다르게 한국어는 띄어쓰기에 따라 뜻이 달라지는 경우가 너무 많은데다가, '사람이/사람은/사람'과 같이 명사형을 추출해야할 필요가 있었다. 두 경우 모두 다행히도 공개된 인공지능 모델이 많아서 쉽게 활용할 수 있었다.
3.
이슈를 추출하는게 굉장히 골치가 아팠다.
이슈란 무엇인가..?
많이 언급하면 이슈인가?
여러 글에서 공통적으로 언급되는 단어가 이슈인가?
이 과정에서 파이프라인도 굉장히 골치가 아팠는데, 최신 LLM 기법(BERTopic, KeyBERT)들도 써보고 내가 생각한 기법, 전통적인 기법들을 몇가지 써보았지만 영 탐탁치 않았다.
그래도 얻어낸 결과는 다음과 같았다.
a.
GPT 기반으로 Embedding 한 결과를 기반으로 embedding vector를 clusturing 한 결과 꽤 유사한 글들이 잘 모여있는 것을 볼 수 있었다.
예를들어, '과천사랑' 카페에서 3일정도의 글을 가지고 와서 clustring해보았는데, 대충 슥슥 넘기면서 보니까 프레스티어 자이라는 아파트의 청약 결과가 공개됐다는 내용들과, 누군가가 강아지를 잃어버려서 글을 도배해놓은 흔적들, 병원&음식점 등을 찾는 시설들에 대한 글, 학부모가 아이에 대해서 쓴 글로 나뉘어 있었고 과천이 어떤 느낌인지 대략적으로 파악할 수 있었다.
시설을 찾는 글들 (맨 오른쪽이 분류 id: 0)
b. 빈도를 기반으로 주요 단어를 추출하는 것도, 한국어 명사를 잘 추출하게 된다면 꽤 괜찮게 얻을 수 있었다.
참치상사 MVP 제작
동인님과 이야기를 반복하다가 다행히도 주요 키워드를 추출하는 방식으로 진행이 돼서, 최종적으로 위와 같은 웹 SaaS를 구성하게 되었다.
이번주 수요일까지 결과를 제공해드리기로 말씀을 드렸었는데, 저번 글에 작성했던 문제 분류기의 버그&사업상 잡다한 일들이 겹쳐 사실상 화요일부터 연구해놓았던 기술을 하나로 결정하고 정비하면서 수요일 밤에 웹 호스팅까지 완료하게 되었었다.
타임라인을 맞추기가 정말 어려웠는데, 그것이 오히려 재미있는 경험이었던 것 같다. 9월 말에 깨달은 사실이 있다면 '달성이 가능하지만 어려운 KPI'를 설정하는 것이 중요하다는 것이었는데, 최근엔 그래도 문제 분류 SaaS를 한번 만들어보면서 나의 역량이 잘 산정이 되고 그러면서 KPI가 잘 점점 잘 설정되는 것 같다.
동인님이 보실 것이라 다소 민망하긴하지만, 조금 더 추가로 도전적인 요구가 있었다면 더 재미있지 않았을까 싶은 생각이 든다. 그러면서 생각난 것이, 고객의 피드백을 받고 그걸 충족시켜주는 것이 나의 인정욕구를 채우는 한가지 방법일지도 모르겠다는 생각이 든다.
다만 그렇다고 개인적인 재미를 추구하기엔 회사 차원의 전략이 충돌하는 것 같아서, 고민은 되는 것 같다.
이번주 만난 사람
•
인베랩 신원협 대표
'SNU-동서 스타트업 프로듀스34' 라는 프로그램의 시상식에 참석했다가 '인베랩' 신원협 대표님과 간단히 커피챗을 하게 됐다. 작년부터 함께 예비창업자때 부터 여러 프로그램에서 마주치는 사이였지만 깊은 이야기를 나눈 것은 이번이 처음이었고, 미리 이런 이야기를 더 나눴으면 좋겠다는 생각이 들었다.
신원협 대표님의 향후 exit 후 목표는 장학 사업을 진행하는 것이라고 한다. 사회에서 받은 것이 많아 다시 돌려주고 싶은 마음이 굉장히 크다고 한다. 이 사람이 10년 후의 미래에는 어떤 생각으로 변해가고 어떤 행동을 하고 있을지 궁금해진다.
나는 비록 과고-서울대를 나올정도로 정부의 많은 수혜를 받았지만 사회에 이를 보답하려는 생각은 잘 들지 않아 신기하였다. 차라리 직접적인 효용을 주고 있는, '한성 장학회'나 '경남 과학고등학교'에는 보답을 하고싶다는 마음을 가지고 있지만 더 거시적인 감사함을 어떻게 해야 느낄 수 있는지 잘 모르겠다.
누군가는 나라를 부흥시키기 위해 창업을 한다고도 한다. 제조업, 반도체가 하향세를 겪고있는 와중 새로운 먹거리를 찾아야하고 그 형태가 스타트업일 것이라고 믿는 사람도 있었던 것 같다. 때로는 이런 거국적인 영향력도 겸비해야하지 않나 싶은 생각을 한다.
•
디지털 헬스케어 파트너스(DHP) 최윤섭 대표
1달 정도 전 쯤, DHP쪽에서 우리 기업에 대한 기사를 보고 이야기를 나눠보고 싶다고 하였지만 내가 헬스케어 사업을 포기한 탓에 커피챗으로 바뀌었다.
최윤섭 대표님은 본인 블로그 활동이나 '대학원생 때 알았더라면 좋았을 것들' 이라는 저서도 냈던 터라 개인적으로 한번 꼭 만나보고 싶은 사람 중 한명이었다. 결론적으로, 지금까지 했던 커피챗 중에 가장 재미있었던 커피챗으로 느껴졌다.
이번 커피챗의 목표는, '내가 헬스케어 사업에 한계를 느끼고 접었지만, 뭘 더 할 수 있었을까요?' 라는 질문에 해답을 얻고 싶다고 생각하면서 갔었다. 의사들을 더 관찰하는데에서 부터 출발할 수 있었을 것이라는 결론에 도달하였지만, 지금에 이르러서는 헬스케어를 해야하는 이유는 나의 커리어적인 측면밖에 없기 때문에 나 자신의 커리어를 중요시 하지 않는 나의 특성상 앞으로는 하기 어려운 선택이었을 것 같다. 다만, 그 당시에는 시간이 많이 소비되는 비효율적인 행위라고 생각해서 의사들을 관찰하지는 않았었지만, 지금에서 되돌아보면 그게 가장 빠른 지름길이 아니었나 싶은 생각이 든다.
재미있었던 이유는 굉장히 여러가지이다. 딱 한 토픽이 흥미롭기보다는 사람 대 사람으로 호감적으로 느껴진 것 같다. 아마 내가 경남 김해 출신이고 최윤섭 대표님도 부산 출신이라 그런것일까? 싶은 생각도 든다.
행동 양상이 일맥상통하는 부분이 많아서 재미있었고, 나의 10년 후 미래는 저런 모습으로 변해가려나? 싶은 것도 있었다. 예를 들어, 나는 솔직하고 직접적으로 피드백 주는 것을 좋아하고 그것이 더욱 상대방에게 정성을 다하는 행위라고 생각하지만 많은 사람들이 오히려 공격적으로 느끼는 경우가 많다. 최윤섭 대표님도 예전에는 자기도 그랬었지만 최근에는 많이 닳아서 좋은게 좋은거지 하면서 좋은말만 하려고 많이 한다고 말하였는데, 나도 언젠가는 저렇게 되겠지 싶은 생각도 든다.
DHP정도면 그래도 꽤 괜찮은 투자사 중 하나라고 생각하지만, 하고 있는 고민을 솔직하게 공유해주셨고 그게 나와 크게 다르지 않아보이는 것도 재미있었다. 지금은 떠난 나의 공동창업자는 사업이 커지면 직원 뽑아서 오토를 돌리겠다는 말을 종종 했었고, 나는 그것이 정말 가능할까 싶은 의문이 있었다. 사업에 과연 안주할 때가 있을까? 최소한 나는 성장이 멈춘 순간 죽는것이라고 생각하기에 그러지 않기위해 계속 발버둥 치지 않을까 싶은 생각도 든다.
결론
•
동인님과의 만남이 계기가 됐던 것 처럼 심지 모임이나 한성 장학회가 이런 식으로 솔직히 비춰진 서로의 모습에 공감하고 도움을 줄 수 있는 모임이 될 수 있지 않을까 하는 생각이 든다.
•
이번주 외부 일정이 너무 많아 일하는 시간이 줄어 좋지 않았지만, 최윤섭 대표님과 같은 좋은 만남도 있었던 것 같다.
비고
•
의무감으로 쓰게되니 마음에서 우러나는 날 것의 글이 잘 작성되지 않는 것 같다. 평일 중에도 괜찮은 일이 있으면 쓰는 습관을 들여봐야겠다.
•
더군다나 밤에 쓰게 되니 빨리 끝내고 싶어지는 마음이 생기게 되는 것 같다. 사실 2개 연속으로 작성하는데 3시간 정도가 걸렸는데, 너무 오래 쓰기도 하는 것 같다.
'한성 30년 심지' 구독하기
다들 심지 구독했죠? ^^
구독
5
3
1
김동희
아주 흥미로운 글이었습니다 :) 어떤 식으로 사업 아이템이 만들어지는지, 어떤 일들을 하는지 등등 창업인의 삶을 엿볼 수 있어 재미있었어요! 오늘부로 홍준님의 팬이 되겠습니다@.@ 혹시 처음에 어떻게 창업을 시작하게 되셨는지 궁금합니다!
안홍준
제가 댓글 확인이 늦었네요ㅜ 흥미롭게 읽어주셔서 감사합니다 동희님ㅎㅎ 저는 창업에 대한 이야기만 계속 솔직하게 쓰게될 것 같아 간접적으로 창업이 어떤 것인지 느낄 수 있을 것 같네요!
창업 처음 시작하게된 계기는 멋있는 것은 아니었는데, 마치 대학교 졸업하면 뭐하지와 같이 박사 졸업하면 뭐하지?라는 의문이 들었었고, 저는 직접경험을 중요시해서 회사 생활을 해보려고 결심하고, 지도교수한테 회사에 가고싶다고 말을 했는데, 그럴거면 창업을 해보라고 해서 생각해보게 된 것 같아요. 그전까지는 아예 생각이 없었어요. 저희 연구실에서 먼저 창업한 팀이 있는데, 지금 너무 잘되고 있던 것도 보고 있어서 창업이 그렇게 멀어보이지도 않았던 것도 있었던 것 같네요!
1
김동희
답변 감사합니다! 저랑 근본적인 이유는 비슷하군요. 홍준님의 행동력이 참 멋있는 것 같습니다ㅎㅎ 앞으로도 글 잘 챙겨보겠습니다!
1
김
김대영
한성 (심지) 동문과의 협업..! 비전공자라 잘은 모르지만 데이터 크롤링과 이슈 정리는 국제정치 쪽에도 굉장히 유용한 도구일텐데 언젠간 배워보고 싶습니다
안홍준
데이터 크롤링이 시장 조사하다보니 비전공자분들도 되게 많이 하시고 쉬운 툴도 많더라고요!
노코드 툴도 많이 나와있고, 코딩까지 관심있으시면 GPT로 짜면 되게 생각보다 쉽게 돼서 진입장벽도 낮은 것 같아요!
