공유

회사에서 이번년도 초 부터 클로드 코드를 적극적으로 사용하면서 바이브 코딩을 진행하고 있다. 최근에 나온 Fable5 모델을 주로 사용하고 있는데 Fable5 모델은 토근 사용량이 Opus5 모델보다 현저히 적어 Fable5에 모든 작업을 온전히 맡길 경우 빠르게 토큰이 소진되는 문제가 있어 업무를 진행하는데 불편함을 느꼈다. 그래서 분석,검증 부분은 Fable5에 맡기고 기능 구현은 Opus5 모델에게 맡기는 전략을 적용하기로 했다. 이번 글은 Fable5 모델을 최대한 잘 사용하기 위해 하네스 엔지니어링과 오케스트레이션 전략에 대해 고민하고 토큰을 아끼기 위해 고민한 것을 공유하기 위한 글이다. 개선한 내용을 설명하기에 앞서, 하네스 엔지니어링과 오케스트레이션이 무엇인지 설명을 간단하게 하고 넘어가고자 한다. 하네스 엔지니어링(Harness Engineering)은 AI 에이전트가 오작동하지 않고 안전하고 안정적으로 자율 업무를 수행할 수 있도록, 외부에서 작업 환경, 가드레일, 피드백 루프를 함께 설계하고 제어하는 운용 체계 구축 기술을 뜻한다. AI 오케스트레이션(AI Orchestration)은 여러 AI 모델, 에이전트, 데이터, 도구를 오케스트라의 지휘자처럼 유기적으로 연결하고 조율하여 하나의 복잡한 작업을 수행하도록 관리하는 기술을 뜻한다. 하네스 엔지니어링부터 적용하기 AI 코딩 에이전트에게 "하지 마"라고 적어두는 것과, 하려는 순간 AI가 막도록 만드는 것은 다른 일이다. 바이브 코딩을 통해 개발하면서 자주 지시문으로 지시했던 것을 뽑아 규칙들로 정의하고 훅,상태,절차로 옮겨서 적용하려고 했다. 클로드 코드를 쓰다 보면 CLAUDE.md(프로젝트 지시문)에 규칙이 쌓인다. "커밋 메시지에 AI 흔적 넣지 마", "main 에 직접 커밋하지 마", "검증 끝나기 전에 커밋하지 마". 등등.. 문제는 이 규칙들이 확률적으로만 지켜진다는 것이다. 컨텍스트가 길어지면 잊히고, 병행 세션이 돌면 서로의 상태를 모르고, 모델이 바뀌면 준수율이 달라진다.

AI를 사용할 때, 세션이 너무 길어질 때가 있다. 클로드 기준 한 세션에 너무 오래머무르면 AI가 사용자와의 대화의 히스토리를 잊어버리고 부정확한 답변을 낼 수 있다고 한다. 실제로 클로드를 사용하면서 컨텍스트가 50% 이상 넘어갈 경우, AI는 내가 처음에 명령했던 지침과 대화 내용을 잊어버리고 잘못된 답변을 내놓는 경우가 종종 발생하고는 했다. 그럴 경우, 나는 주로 /handoff라는 스킬을 만들어서 사용하고 있는데 이번에 handoff 스킬에 대해 공유하면 좋을 것 같아 글을 작성하게 됐다. handoff를 구글에 검색해보면 이렇게 답변이 나온다. 핸드오프(Handoff)는 한 기기나 담당자, 시스템에서 하던 작업을 끊김 없이 다른 곳으로 넘겨 계속 진행하게 만드는 인수인계 및 연동 기술을 뜻합니다. 실제로 내가 사용하는 스킬도 해당 뜻과 매우 유사하다. 현재 세션에 대한 컨텍스트 정보를 유지하면서 새로운 세션에 이전 컨텍스트의 정보를 AI가 유지할 수 있도록 하는 것이다. 회사에서 우리 팀은 해당 스킬을 팀 공용 스킬로 생성하여 활용하고 있다. /handoff 를 입력하면 마크다운 파일을 생성해 지금까지 AI와 대화한 내용을 바탕으로 다음 세션으로 넘겨줄 정보를 저장한다. 새로운 세션을 만든다면 해당 마크다운 파일은 자동으로 다음 세션으로 승계되고 삭제된다. 예를 들면, 사용하고 있는 AI에게 아래와 같이 입력하면 handoff 스킬이 생성된다. 직무에 따라 알맞게 수정할 수 있고 해당 스킬 하나만 잘 활용해도 컨텍스트가 길어졌을 때 답변의 정확도를 높일 수 있으며 토큰 또한 낭비되는 것을 충분히 줄일 수 있다.