Prompt Flow 기반 생성형 AI 를 활용한 Agent 구축하기 패스트캠퍼스 프롬프트 엔지니어링 3기 수업이 한창입니다. 매주 게스트를 모시고 프롬프트 관련 세미나 자리를 마련하고 있습니다. 이번 4주차에는 Microsoft 의 Hyounsoo Kim 을 초청했습니다. Azure Prompt Flow 기반의 AI Agent 구축하는 법을 주제로 유용한 강연을 들었습니다. 4주차 수업에서는 프롬프트를 테스트하고 평가하는 과정을 배우는데요. 특히 테스트와 평가 자동화를 위해 single agent와 multi agent의 개념을 함께 다루며, Langgraph와 프롬프트 엔지니어링, 나아가 프롬프트 엔지니어링으로 구현하는 multi agent까지 폭넓게 학습합니다. 이어서 현수님께서 프롬프트 작업 효율화를 돕는 Microsoft의 주요 도구 두 가지를 소개해주셨습니다. 도구 1️⃣ Codespaces (통합개발 환경 IDE) 클라우드 상에서 호스팅되는 개발 환경으로, 개발자가 어디에서든 빠르게 코딩을 시작할 수 있습니다. (현수님께서 제가 작업한 Solar-pro cookbook 도 Codespaces 작업을 해주셨습니다. ) → Solar Cookbook 사용해보기

안녕하세요. 티타임즈TV에서 프롬프트를 주제로 시리즈 컨텐츠를 촬영하고 있습니다. 수업에서 미리 고안한 커리큘럼 내용을 중심으로 진행하다 보니, 기초 개념들을 자세히 설명하기 어려울 때가 있습니다. 티타임즈에서 촬영해둔 영상들이 있으니 하나하나 보셔도 좋을 것 같습니다. *요약은 Lilys AI 를 사용하여, 조교님께서 작성해주셨습니다. @보경 AI가 쓴 것 같지 않게 챗GPT로 보고서 쓰려면 (프롬프트 엔지니어 강수진 박사) 📌 주제 모아보기 프롬프트 엔지니어링이란? 글을 잘 쓰는 사람이 유리한가? 강남역에 있는 코딩 학원 다닌 이유 프롬프트 엔지니어가 하는 일은? 프롬프트 엔지니어가 개발자를 대체하는 시대가 올 수도 있다 언어학 박사가 어쩌다가 프롬프트 엔지니어로? 프롬프팅 엔지니어링 기법들이 실제로 적용되지 않을 때가 있다 GPT를 어르고 달래야 하는 이유 도메인 지식이 중요한 이유 ✅ 핵심 요약 1. 프롬프트 엔지니어링의 중요성 프롬프트 엔지니어링은 AI와의 대화에서 중요한 역할을 함. AI의 성능은 사용자의 능력에 따라 달라짐. 프롬프트의 정의 프롬프트는 AI에게 명령을 내리는 입력으로, 간단한 질문부터 복잡한 요청까지 다양함. 프롬프트는 '어떤 다른 사람에게 신속하게 무엇을 하게 하다'라는 의미를 가짐. 컴퓨터의 발전으로 명령어를 프롬프트라고 하면서 오늘날의 생성형 AI와 대화하기 위한 어떤 대화 수단, 그 명령어를 프롬프트라고 함. 입력 방식에 따라 프롬프트의 형태가 달라질 수 있음. 프롬프트 엔지니어링의 개념 프롬프트 엔지니어링은 입력 메시지를 통해 AI에게 신호를 보내고 결과를 받는 과정임.

프롬프트 엔지니어 평가 결과 "업스테이지 모델 번역 정확도 가장 높아" 국내 최초의 전문 프롬프트 엔지니어가 최근 화제인 딥시크를 비롯, 국내외 대표적인 대형언어모델(LLM) 5종의 번역 능력을 비교 평가했다. 그 결과, 국내 스타트업 업스테이지의 ‘솔라’가 뛰어난 성능을 입증, 눈길을 모았다. 강수진 프롬프트 엔지니어는 2일 링크드인을 통해 국내외 대표 LLM 성능 평가 결과를 공개했다. 그는 업스테이지와는 관계가 없다. 지난 2023년 국내 최초의 프롬프트 엔지니어로 뤼튼테크놀로지스에 발탁, 화제를 모았던 인물이다. 현재는 더 프롬프트 컴퍼니의 대표로 활동하고 있다. 딥시크의 한국어 성능이 궁금했다는 것이 이번 실험을 진행한 계기라고 밝혔다. 이번 테스트에는 ▲딥시크챗을 비롯해 ▲GPT-4o ▲클로드 3.5 소네트 ▲제미나이 1.5 프로 ▲솔라-프로 등 5개 모델을 포함했다. 먼저 정성적인 부분의 측정을 위해 도널드 트럼프 미국 대통령의 취임사를 번역했다. 비교를 위해 인간이 직접 번역한 국내 매체의 번역문을 정답으로 참고했다. 그 결과 솔라 프로의 번역 결과가 인간 번역문과 가장 유사한 것으로 나타났다. 딥시크챗은 고유명사 정확도가 많이 떨어졌다. GPT-4o는 영문 표기를 그대로 유지했다. 제미나이 1.5 프로는 고유명사 및 핵심 문장 구조가 거의 일치하지만, 직역 문장이 많았다. 클로드 3.5 소네트는 한국어 표현이 가장 깔끔하고 유려하지만, 고유명사와 인명 표현에서 문제를 드러냈다. 문제점이 가장 적은 것은 솔라라고 평가했다. 원문을 그대로 옮기는 듯한 뉘앙스가 있지만, 인간 번역과 어순과 사용 단어가 가장 많이 일치했다는 분석이다. (사진=링크드인, Sujin Kang Ph.D.Sujin Kang Ph.D.) 두번째로 진행한 정량 분석에서도 솔라-프로가 가장 좋은 성적을 거뒀다. 이번에는 다른 매체의 인간 번역문을 정답으로 설정했다. 이를 위해 ▲번역을 위한 시스템 프롬프트 제작 ▲LLM을 각각 20번씩 실행해 번역 결과를 총 100개 산출(프롬프트 강건성 테스트) ▲각 모델의 번역 결과를 기사 원문과 비교해 벤치마크로 점수 측정 ▲20건의 점수 측정값을 토대로 모델별 산술 평균 계산 등이 과정을 거쳤다.