Azure Prompt Flow 기반의 AI Agent 구축하는 법을 주제로 유용한 강연을 들었습니다.
4주차 수업에서는 프롬프트를 테스트하고 평가하는 과정을 배우는데요. 특히 테스트와 평가 자동화를 위해 single agent와 multi agent의 개념을 함께 다루며, Langgraph와 프롬프트 엔지니어링, 나아가 프롬프트 엔지니어링으로 구현하는 multi agent까지 폭넓게 학습합니다.
이어서 현수님께서 프롬프트 작업 효율화를 돕는 Microsoft의 주요 도구 두 가지를 소개해주셨습니다.
도구 1️⃣ Codespaces (통합개발 환경 IDE)
클라우드 상에서 호스팅되는 개발 환경으로, 개발자가 어디에서든 빠르게 코딩을 시작할 수 있습니다.
(현수님께서 제가 작업한 Solar-pro cookbook 도 Codespaces 작업을 해주셨습니다. )
프롬프트를 제작한 뒤에는 반드시 테스트와 평가, 개선 과정을 거치게 됩니다. 이때 정성 평가와 정량 평가를 한 곳에서 진행할 수 있어, 작업 효율이 크게 높아진다는 장점이 있었습니다.
프롬프트 평가:
제가 직접 만든 기준에 맞춰 LLM 파이프라인을 개발해보니, 수정하고 보완해야 할 부분이 꽤 많았습니다. 하지만 Azure Prompt Flow를 활용하면 데이터 저장소 및 비용, 대기 시간, 호환성 등 다양한 평가 항목을 한 번에 확인하고 개선할 수 있어 편리했습니다.
Prompt Flow를 사용하면 프롬프트 테스트부터 평가, 배포에 이르는 전 과정을 간소화해주어, 생성형 AI 기반의 Agent 구축을 더욱 효율적으로 진행할 수 있습니다.
다양한 LLM과 관련된 많은 도구가 쏟아져 나오고 있습니다. 결국 중요한 것은 수많은 도구 중 '무엇'을 '어떻게' 활용해 프롬프트 엔지니어링을 할 것인지 판단하는 일 아닐까 싶습니다.