퇴사가 어느 정도 확정되어서, 후기를 조금 빨리 쓴다. 후기는 큰 이벤트가 있을 때마다 써야한다는 생각이 있는 편이다. 감정이나 생각과, 배움이 생생할 때 적어놓는 것이 낫겠다 싶었다. 첫 회사이고, 나에게는 프롬프트 엔지니어링을 실무레벨에서 경험해 볼 수 있었던 회사이다. 이번에 회사를 나오기로 결정하면서, 짧은 9개월 동안에 해왔던 일을 정리해보았다. 부끄러운 일도 있고, 모자란 내용도 있다. 스스로에 대한 자랑도 있을 것이다. 하지만 그 내용이 어떠하든, 글로써 정리하는 것이 가장 중요하다.
어떻게 오게 되었나?
처음에 이 곳에 오게 될 때는, 그렇게 큰 동기가 없었다. 프롬프트 엔지니어라는 직무가 있다는 걸 알고, 작년에 백엔드 개발자에서 AI로 넘어왔다가, 프롬프트 엔지니어 직무로 희망직무를 변경하게 되었다. 신생 직군이다보니, 정말 공고가 없었다. 12월부터 1월까지 쭉 공고를 보다가, 몇 군데에 원서를 넣었다. 그 때 생각으로는 "빠르게 시작해야 하니, 처음 붙여주는 곳으로 가자"는 쪽이었다.
다행히도, 정말 감사하게도 회사에서 면접을 보고, 대표님이 하시고 싶었던 프로젝트에 설득되었다. 지금도 하고 있는 프로젝트인데... 결과적으로는 중간에 매듭짓지 못하고 나오게 되었다. 하지만 해당 프로젝트의 주제로 혼자서, 그리고 팀과 함께 PoC만 3번이나 완주했기에, 얻은 게 아주 없지는 않았다.
뭐, 나야, 다음 달에 고향에 내려가서 밭가는 정도로 나락을 안 가게 되었으니 더 좋았다. 상황이 너무 맞아 떨어져서 1월에 입사를 하게 되었다.
무엇을 했었나?
프롬프트 엔지니어링의 모든 파트를 담당했다.
회사에서 진행하는 신규 프로젝트와, 외주, 자체 서비스에서 LLM과 프롬프트가 개입되는 거의 모든 문제를 다루었다. 처음 제작한 신규 프로젝트는 1인으로 진행해서 혼자서 프론트/백엔드를 개발하고, 프롬프트 기반으로 Agent를 구현하여 LLM 로직을 넣었다. 다행히도 좋은 사람들이 들어오고 팀이 커져서 부담이 많이 줄었지만, 그 줄었던 시간은 프롬프트 엔지니어링을 사내에서 더 투여하는 데 사용되어졌다.
처음에는 프롬프트 제작과, 이에 대한 테스팅만이 업무로 있는 상황이었다. 점차 프롬프트를 작성하는 데에 있어서 기획 PM 분과 계속 소통하면서 일을 진행했었고, 이에 대한 평가 피드백이나, 제작에서 프롬프트만으로 힘들었던 부분에 대해 나누고 기능 업데이트 시 기획에 반영되었다. 스스로 개발은 할 줄 알았기에, 프롬프트 엔지니어링 테스팅에 필요한 로직이나 파이프라인은 즉석에서 프로젝트의 요구사항에 맞게 작성하면서 테스팅을 진행했다.
프롬프트 제작과 테스팅에서도 단순히 프롬프트 제작 이외에, streamlit과 같은 도구를 통해 기획에서 제시한 로직에 따라 테스트 어플리케이션을 만들고 서빙했다. 이를 통해 서비스하는 환경과 별도의 테스팅이 가능하게 했고, 이전에 전임자가 진행한 ChatGPT 포털에서 테스트를 진행하던 방식과는 달리 실제 API를 활용한 기능의 출력에 맞게 테스팅을 진행할 수 있었다.
무엇을 잘했다고 생각하나?
회사는 LLM 관련 직무를 처음 채용한 상황이었다. 내 앞에 기획자가 프롬프트 엔지니어링을 한 명 하고 있었지만, 그 분이 하는 방식이 지금 와서 되돌아보면 효율적인 방식이지는 않았고, 성능에 대한 평가도 어림짐작에 가까웠다. 처음 들어와서, 그런 체계를 세워보고 싶었고, 어느 정도는 이해를 공유하는 데에는 도달한 것 같다.
실무에서 주어지는 문제를 주어진 제한된 상황 안에서 해결했다. 회사는 Azure 파트너사였지만, 비용최적화로 인해 가장 가격이 싼 gpt-3.5-turbo를 24년 09월까지 사용했다. 즉 내 커리어 내내 gpt-3.5-turbo에 해당하는 성능의 모델을 계속해서 다루어 왔었고, 그 사양 대의 모델에서 기능을 구현하거나 추론의 정확도를 달성하면서 토큰 최적화를 하는 경우가 많았다. 그러면서도, LLM의 특성상 해내기 어려웠던 과제들을 해결해보려고 노력했고, 대부분은 성과를 거두었다. 스스로 여러가지 전략들을 연구했고, 이를 적용했다.
무엇보다 사수가 없는 상황에서 독립적으로 성장했다. 프롬프트 엔지니어링의 특성 상 사수가 있는 회사가 많이 없다. 있다면 그 회사는 원래 자연어처리 일을 하던 회사였을테니. 그래서 다니게 된 회사에서도 사수는 물론, 정교한 프로세스도 보장되지 않았던 회사였다. 반대로 말하면, 혼자 무언가 시도해보기 좋은 회사였다. 회사는 지지를 아끼지 않았고, 나 또한 워크숍이나 논문이나 강의나 책... 손에 잡히는 무엇이든 스스로 소화해가면서 클 수 있었다.
또, 처음에 들어갔을 때는 웹 개발을 하고 있을 때 왜 안 도와주는 건지 의아했지만, 그저 그냥 혼자 해결하는 것이 맞다는 걸 곧 깨닫고 스스로 했다. 웹 프론트를 4년동안 다루어본 적이 없어서, vue.js 에 대한 개발을 웹 프론트 실습생에게 물어보며 스스로 구현하는 과정이 그런 자세를 닦는데 큰 도움이 되었다. 그 때의 구현이 빠르고 효율적이라고 말하진 못하지만, 다시 한다면 잘 해낼 수 있을 것 같다. 이런 경험이, 프롬프트 엔지니어를 하면서 내 밑바닥에 있는 개발자라는 인식에 긍정적인 영향을 주었다. 아직도 코드는 치고, 웹에 대한 관심을 식혀두지 않고 있다.
무엇이 부족했다고 생각하나?
두 가지였다 : 커뮤니케이션. 그리고 감정 관리.
내 전임자였던 기획파트 실습생이 프롬프트 엔지니어링을 하면서 정말 문자 그대로 격무에 시달리는 것을 보았다. 그걸 뒤에서 보면서, 아직 정립되지 않은 분야에서 스스로 목소리를 내지 않으면 안된다는 인상을 많이 받았다. 그러지 않는다면 나 또한 소모되고 소진될 것이기 때문에 그랬다. 그래서 기획과 가장 많이 이야기를 나누었지만, 아이러니하게도 가장 많이 부딫힌 사람들 또한 기획파트였다. LLM이나 프롬프트 엔지니어링의 특성에 배반되는 경우라면 강하게 커뮤니케이션하는 것을 주저하지 않았다. 그 덕인지는 몰라도 회사에서 지금의 챗봇이나 LLM 관련 기능을 기획할 때는 이런 특성들이 많이 반영되었다. 하지만, 그 과정이 고요하고 순탄하지만은 않았었다. 어느새 나는 고슴도치가 되어 있었다.
또 하나는 감정의 관리였다. 원래 취미가 자전거타기 였었지만, 일에 몰리면서 여유롭게 취미로 해소를 하는 시간이 줄어들었다. 관리되지 않은 스트레스는 감정을 곯게 만들었다. 곯아진 감정은 뒤엉켰고, 그것이 말로 흘려지는 경우가 늘어났다. 그러면서 TF의 리드급 개발자의 불투명한 정보 공개와 기술적인 내용에서의 갈등이 있었고, 번져진 감정으로는 이슈를 효과적으로 제어할 수 없었다. 팀도 활로를 찾고, 나도 활로를 찾는 선택지를 스스로 보여드리고 내가 선택해야 했었다.
만약 회사 생활을 처음으로 돌아가서 다시 해보라고 한다면, 일부러 억지로 시간을 내어서라도 취미를 만들었고, 마음을 관리했을 것이다. 지금은 또 그렇게 하는 중이고. 스트레스 관리가 업무보다 중요하다고 생각하지 않았지만, 관리되지 않은 감정들로 인해 업무가 잡아먹히는 것을 경험하고 나니 생각이 바뀌었다. 그렇게 감정이 곯지 않을 때에야 고요한 평정을 유지할 수 있고, 정확하면서도 친절한 커뮤니케이션을 할 수 있다. 글과 말로 주된 업무를 하는 프롬프트 엔지니어에게는 그런 점이 필수 불가결이라는 것을 깊게 배울 수 있었다.
감사하는 것은?
그럼에도 회사에게는 여전히 고마움만 갖고있다. 우선 프롬프트 엔지니어를 처음 시작할 수 있었다. 직무를 달고 프롬프트 엔지니어링을 해볼 수 있다는 것. 누군가는 해결해볼 수 없는, 이 직무에서 나만이 접할 수 있는 문제를 해결할 수 있다는 것. 내가 아는 것으로 누군가에 도움을 줄 수 있는 구현을 만들 수 있는 것을 경험했다.
덕분에, 스스로 프롬프트 엔지니어링에 소질이 있다는 것도 발견했다. 오랜기간 번역사를 하고, 개발 능력도 어중간하고, AI도 어중간하고, 수학도 확률과 통계, 벡터만 팠던 나의 모든 것이 'Connecting the dots'을 이루어가는 모습을 생생히 볼 수 있었다. 그 어느 것도 내가 쌓아온 경험에서 필요하지 않은 부분이 없었고, 모자람도 더할 나위도 없었다. 생산물은 텍스트이고, 동작의 원리는 확률이고, 동작하는 구현체는 코드였던, 프롬프트 엔지니어링의 세 기둥을 어느새 나는 모두 쥐고 있었다는 것을 실무를 해결하면서 발견할 수 있었다.
회사에서 프롬프트 엔지니어라는 직무를 달면서, 여러 고마운 사람들을 만났다. AI에 엄청나게 개방적이고 열려있는 대표님과 오프라인 강의를 시작으로 지금도 연이 닿는 강수진 박사님을 비롯해서, 수많은 사람들을 만나 뵙고 이야기할 수 있었다. 프롬프트 엔지니어링이라는 완전히 새로운 직무를 달고 있기에 많은 사람들의 관심을 받을 수 있었고 응원을 받을 수 있었다. 그들의 관심을 실망으로 돌리지 않기 위해 스스로도 성장하는 데에 많은 노력을 기울이고 습관화할 수 있었다. 자칫하면 LLM의 거대한 어께 위에 서서 나태해질 수도 있는 상황이었지만, 그러한 관심과 응원이 스스로를 움직이게 만들었다.
무엇보다, 혼자서 프롬프트 엔지니어링을 준비할 때에는 몰랐던 전체 지형을 확실히 알 수 있었다. 프롬프트를 적는 것에서만 끝나는 것이 아니라, 단순히 LLM에 들어갈 '글짓기'를 '엔지니어링'으로 발전시키기 위해 무엇이 필요한지, 그것이 어떻게 사용자의 문제를 해결해줄 수 있는지 많은 사례를 접하면서 배울 수 있었다. 초등교육에 대한 도메인 지식을 얻어갈 수 있음은 덤이었다. "프롬프트로 생성하는 것은 곧 콘텐츠", "프롬프트 엔지니어링의 극점은 콘텐츠 관리와 도메인 지식과의 접합"이라는 내가 가지고 있는 가장 큰 커리어의 명제들이 지금의 회사에서의 경험으로 생겨났다고 말할 수 있다.
아쉬운 것은?
아이같은 프로젝트와 프롬프트를 두고 나오는 것이 아쉽다. 아직도 동작하지 않는 부족한 프롬프트들이 있다. 특정한 시나리오에서는 기능을 달성하지 못하거나, 기획에서 True/False식으로 동작하게 해달라는 것은 코드로 메우는 등의 땜질을 해놓은 것들을 완벽하게 프롬프트로만 처리하지 못해서 내심 아쉬운 생각이 든다. 항상 비즈니스는 시간이 부족하고, 시간이 부족하기에 할 수 없는 것들도 프롬프트에서 생기니깐. 기워지고, 메워진 틈새를 잘 메우고 나와야하는데. 남아있는 분이 잘 할 것이다.
지금 되돌아와서 생각하면, 더 친절하게 말하는 방법도 있었지만, '말하지 않으면 내가 갈린다'는 조급함과 위기의식이 있었다. 사실은 이해받고자 했고, 이해하고자 했던 일들이었는데. 더 친절하게 말할 수 있는 방식들이 있었는데 그러지 못했다. '처음 생겨난 직무를 하는 사람에게는 일상같은 일'이라고 하는 분도 있었지만, 과연 그럴까? 싶기도. 더 친절하게 말하는 방법은 분명히 있었고, 갈등의 때마다 그런 선함이 분명히 선지에 있었다. 조급함과 위기의식에 눈이 흐려져 그 선지를 볼 수 없었다.
회사에서 들어와서 많은 것들을 해내고 배웠지만, 실패한 것도 있었다. 하지만 우리는 "살면서 항상 실패를 거듭하면서 향상하고 위로 올라가는 것은 분명하다." 개선하고, 다듬을 수 있는 뼈저리면서도 깊은 경험을 했다고 생각한다.
앞으로 뭘하고 싶나?
한 주 동안은 묶여지고 엉킨 감정의 실타래를 푸는 작업을 해보고 싶다. 그 이후에 스텝을 정하고 싶다.
좋은 회사가 있다면 마다하지 않고 간다. 프롬프트 엔지니어링은 앞으로도 커리어를 지속하면서 계속하고 싶다는 생각은 여전히 변함이 없다. 어느 정도는 잘하는 일이라는 걸 발견했고, 지속적으로 개선하고 싶다. 다만 기술적인 거리감은 있기에 빠르게 Agent 쪽 프로젝트를 진행해나가면서 최신 기술들을 다시 한 번 보고, 무언가 만들어보고 싶은 욕망이 있다.
당장 회사를 들어가지 않더라고 관심있던 분야의 책을 읽어보는 시간을 가질 것이다. 지금은 뇌과학, 인지과학, UX 디자인과 인터페이스, 확률, 통계학이 있다.
당분간은 아직 현재의 회사에서 할 일은 남아있다. 후임으로 들어온 프롬프트 엔지니어를 내 성장치까지 오게 만들 것이고, 스스로 문제를 해결할 수 있도록 만들 것이다. 진행하고 있는 모델 마이그레이션 작업도 마쳐야한다. 이를 마치게 되면, 실서비스에서 LLM 모델 변경에 따른 프롬프트 마이그레이션 작업을 어떻게 안정적으로 할 지 총정리할 수 있다. 프롬프트 엔지니어링에 대한 방법론도 정리하고 싶다. 개인적으로는 가장 필요성을 느끼면서도 노력했던 부분이 테스팅이었는데, 이전에도 TDD에 관심이 있는 만큼 쉬는 기간동안 TDD in Prompt Engineering이라는 주제로 퇴사 이후에 그 성격과 과정을 정리하고 싶다.
Subscribe to 'Two-Jay_prompt_engineer'
안녕하세요. Prompt Engineer TwoJay 입니다. 저를 구독하시면, 프롬프트를 짜오면서 제가 겪은 경험과 생각들을 나눌 때에 더 빠르게 소식을 아실 수 있습니다. 🥰
Subscribe
4
4
S
Samuel Yang
투제이님의 미래를 응원합니다! 자칭 프롬프트 엔지니어들만 보다가 처음으로 프롬프트 엔지니어라는 타이틀을 가지고 필드에서 일하시는 투제이님을 단톡방에서 뵙고 넘 신기했던:) 기억이 아직 생생하네요 ㅎㅎ 무엇을 하셔도 잘하실 거라 생각해요!
