Poe-Bots

인공지능 언어 모델(LLM)의 발전으로 다양한 산업 분야에서 혁신의 바람이 불고 있습니다. 이 글에서는 LLM이 어떻게 기존 산업을 변화시키고 새로운 기회를 창출하는지 살펴보겠습니다. 데이터 관리와 분석 LLM은 방대한 양의 비정형 데이터를 효율적으로 처리하고 분석할 수 있습니다. 기업들은 이를 통해 고객 피드백, 시장 동향, 내부 문서 등을 신속하게 분석하여 의사결정에 활용할 수 있습니다. 데이터 사이언티스트의 역할이 더욱 중요해지며, LLM을 활용한 데이터 인사이트 도출이 경쟁력의 핵심이 될 것입니다. 소프트웨어 개발 개발자들의 생산성이 LLM으로 인해 크게 향상되고 있습니다. 코드 작성, 디버깅, 문서화 등 다양한 개발 단계에서 LLM의 지원을 받을 수 있어 개발 주기가 단축되고 있습니다. 이는 더 빠른 혁신과 제품 출시로 이어질 것입니다. 고객 서비스 AI 챗봇과 가상 비서의 성능이 LLM으로 인해 비약적으로 발전하고 있습니다. 24/7 고객 지원, 개인화된 추천, 복잡한 문의 처리 등이 가능해져 고객 경험이 크게 개선될 것입니다. 동시에 기업은 운영 비용을 절감하고 서비스 품질을 높일 수 있습니다. 콘텐츠 제작 마케팅, 교육, 엔터테인먼트 등 다양한 분야에서 LLM을 활용한 콘텐츠 생성이 활발해질 것입니다. 개인화된 광고 문구, 교육 자료, 스토리텔링 등 창의적인 작업에 AI의 도움을 받아 콘텐츠 제작자의 생산성과 창의성이 높아질 것입니다. 언어 서비스 번역, 통역, 자막 제작 등 언어 관련 서비스가 LLM으로 인해 더욱 정교해지고 있습니다. 실시간 다국어 커뮤니케이션, 문화적 맥락을 고려한 로컬라이제이션 등이 가능해져 글로벌 비즈니스 확장이 용이해질 것입니다. 의료 및 헬스케어 의료 기록 분석, 진단 지원, 개인화된 치료 계획 수립 등에 LLM이 활용되고 있습니다. 방대한 의학 문헌을 학습한 LLM은 의료진의 의사결정을 지원하고, 환자와의 소통을 개선하는 데 도움을 줄 것입니다. 금융 서비스 리스크 분석, 투자 자문, 사기 탐지 등 금융 분야에서 LLM의 활용도가 높아지고 있습니다. 복잡한 금융 데이터를 신속하게 분석하고 예측하여 더 정확한 금융 서비스를 제공할 수 있게 될 것입니다. 법률 서비스 법률 문서 검토, 계약서 작성, 판례 분석 등에 LLM이 활용되어 법률 서비스의 효율성과 정확성이 높아질 것입니다. 이는 법률 서비스의 접근성을 높이고 비용을 낮추는 데 기여할 것입니다. 교육 개인화된 학습 경험, 자동 채점, 교육 콘텐츠 생성 등에 LLM이 활용되어 교육의 질을 높이고 교육자의 업무 부담을 줄일 수 있습니다. 평생 학습과 원격 교육이 더욱 보편화될 것입니다. 연구 및 혁신

소개 Poe 기반 서버봇 Poe? Poe는 "Platform For Open, Exploration"의 약자로, 질문과 답변을 주고받는 유명한 웹사이트인 Quora에서 개발한 챗봇 소프트웨어입니다. Poe는 다양한 AI 챗봇을 편리하게 이용할 수 있는 환경을 제공합니다. Server Bot 프롬프트 봇과 서버봇 제공 검색 결과를 기반으로 응답을 생성해야 되기 때문에 서버봇 활용 Godot-4.2-Copilot Poe 기반 서버 봇 고도엔진 4.2 공식 문서 를 수집하고 검색하는 시스템 구현 검색 API를 function call로 연동 (RAG with Function call) RAG(Retrieval Augmented Generation) 검색 결과를 응답 생성 LLM에 주입해 결과를 고려한 응답을 생성하게 한다. RAG with Function calling Function calling의 역할 질의에 따라 godot_search 함수 호출해서 응답할지 아닐지 결정

Q: "나는 주로 LLM에 논문이나 책을 올려 개략적인 내용을 습득하고 자료를 기반으로 문제를 제출하게 해서 체크하는 방식으로 복습하곤 해. 이러한 방식으로 활용할 수 있는 여러 지식 습득 방식이 있을거 같은데, LLM을 기반으로 획기적으로 지식 습득을 향상 시킬 수 있는 방법을 알려줘 " Claude-3.5-Sonnet 간격 반복 학습법 활용: LLM을 사용하여 새로운 개념을 학습할 때 간격 반복 기법을 적용합니다. LLM에게 학습 내용에 대한 퀴즈를 만들어달라고 요청하여 복습에 활용합니다. 효과적인 프롬프트 작성 자동화: 좋은 학습 프롬프트 작성법에 대한 정보를 LLM에 입력합니다. LLM에게 이를 바탕으로 실제 학습용 프롬프트를 생성해달라고 요청합니다. 이해도 향상을 위한 AI 활용: 새로운 주제에 대해 읽은 내용을 LLM에 입력합니다. LLM이 생성한 질문-답변 쌍을 통해 핵심 개념을 파악하고 이해도를 높입니다. 맥락 파악을 위한 LLM 활용: 특정 분야에 대한 책이나 논문 등의 자료를 LLM에 업로드합니다. LLM에게 질문을 던져 해당 분야의 더 넓은 맥락을 이해합니다. AI를 통한 지식 검증 및 정교화: LLM과의 대화를 통해 자신의 이해도를 검증하고 개선합니다. LLM이 답변하지 못하는 부분을 파악하여 추가 학습 포인트로 활용합니다. 워크플로우에 AI 통합: AI 기술을 일상적인 학습 과정에 미리 통합하여 기술 발전에 따른 이점을 지속적으로 누립니다.

응답 앙상블 실험 - PlanCritiqueAI 이전 포스트 : https://slashpage.com/llm-bots/poes 방법 GPT-4o-Mini 에게 2개의 응답 플랜을 받아서 단일 선택을 하는 것 → 기존 방식 GPT-4o-Mini, Gemini-1.5-Flash 모두에게 각각 응답 플랜을 받아서 앙상블 하는 방식 → 신규 방식 GPT-4o-Mini 4회 호출 : 60 cp 비용 GPT-4o-Mini 2회 + Gemini-1.5-Flash 1회 : 55 cp 비용 critic_plans 단계 삭제 Gemini-1.5-Flash 1회 비용 25 cp 평가 기존 질문보다 더 복잡하고 광범위한 지식을 요구하는 질문으로 교체. claude-3.5-sonnet과 Mistral-Large-2 기반 평가 질문 : 티벳사자의 서에서 이야기하는 죽음 이후의 49일 동안의 일을 상세하게 설명하고 각각에 대해서 어떠한 삶의 지향점을 삼아야 되는지 동양철학과 서양철학 모두와의 연결점을 확인하여 설명해봐 각 AI 봇의 답변을 평가한 결과를 다음 테이블로 정리했습니다: AI 봇

배경 https://poe.com/Dual-Insight 을 개인적으로 매우 잘 쓰고 있는데, 한가지 단점이 Claude-3.5-Sonnet과 Gemini-1.5-Pro를 호출하다보니 1회 호출 비용이 너무 소요되어 사용자 확장에 한계가 있다는 생각이 들었다. 그러다 얼마전 출시한 GPT-4o-Mini로 어떻게 하면 저렴하게 고품질의 응답을 생성할 수 있을까 고민이 되어서 숙취에 고민하던 주말 아침에 만들게 되었고, 쓸만한 수준이 되어 Poe 봇으로 올렸다. Poe내에서 각 LLM 호출비용은 아래와 같다. GPT-4o-Mini : 15 Gemini-1.5-Pro : 175 Claude-3.5-Sonnet: 200 GPT-4o: 300 PlanCritiqueAI : 60 가격을 보면 알겠지만, 1회 응답 생성을 위해 GPT-4o-Mini를 4회 호출하게 된다. 하지만 그 응답 품질은 주요 주력 모델들에 비해 부족함이 없다. 소개 PlanCritiqueAI는 사용자 질문에 대한 최적의 응답을 생성하기 위해 다단계 계획 및 평가 과정을 거치는 AI 시스템이다. 이 글에서는 PlanCritiqueAI의 동작 방식을 설명하고, 이를 통해 어떻게 고품질의 응답을 생성하는지 알아보겠다. PlanCritiqueAI의 구조와 동작 방식 PlanCritiqueAI는 FastAPI와 Modal API를 사용하여 구축된 Poe 봇으로, 다음과 같은 주요 단계를 거친다 1. 질문 분석 및 계획 수립 사용자의 질문을 받으면 PlanCritiqueAI는 먼저 질문의 맥락을 분석하고, 이를 기반으로 여러 개의 계획을 수립한다. 각 계획은 시스템 메시지를 통해 전략적 사고를 하는 인스트럭션을 주입하게 된다. 2. 계획 비교 및 평가 생성된 여러 개의 계획 중에서 최적의 계획을 선택하기 위해 PlanCritiqueAI는 계획들을 서로 비교하고 평가한다. 이 과정은 여러 라운드에 걸쳐 진행되며, 각 라운드마다 두 개의 계획을 비교하여 더 나은 계획을 선택합니다. 흡사 토너먼트처럼... PlanCritiqueAI봇은 현재 두개의 플랜을 세우게 된다. 플랜 숫자를 늘릴 경우 성능이 좋아질지는 확인이 필요하다. 3. 최종 응답 생성