Share
Sign In
Lighthouse LLM
Langchain이란?
L
Lighthouse
👍
1
❤️
1
Langchain은 방대한 양의 텍스트 데이터를 학습하여 텍스트를 생성하고, 언어를 번역하고, 다양한 종류의 창의적인 콘텐츠를 작성하는 등 인간과 같은 방식으로 언어를 처리할 수 있습니다.
https://medium.com/@ebruboyaci35/use-cases-with-langchain-e0fd5b0587f1
Langchain은 다음과 같은 특징을 가지고 있습니다.
대규모 데이터 학습: Langchain은 수십억 개의 단어로 구성된 데이터 세트에서 학습합니다. 이러한 대규모 데이터 세트는 Langchain이 인간 언어의 복잡성을 이해하고 학습하는 데 도움이 됩니다.

텍스트 생성: Langchain은 텍스트를 생성할 수 있습니다. 예를 들어, Langchain은 시, 코드, 대본, 음악 작품, 이메일, 편지 등과 같은 다양한 종류의 창의적인 텍스트 형식을 생성할 수 있습니다.
언어 번역: Langchain은 언어를 번역할 수 있습니다. 예를 들어, Langchain은 영어에서 한국어로, 한국어에서 영어로 등 다양한 언어 간의 번역을 수행할 수 있습니다.
Langchain의 응용 방안
Langchain은 다양한 분야에서 응용될 수 있습니다. 다음은 Langchain의 대표적인 응용 방안입니다.
챗봇: Langchain은 챗봇에 사용될 수 있습니다. 챗봇은 사람과 대화할 수 있는 컴퓨터 프로그램입니다. Langchain은 챗봇이 더 자연스럽고 유익한 대화를 할 수 있도록 합니다.

창의적인 콘텐츠 생성: Langchain은 창의적인 콘텐츠를 생성하는 데 사용될 수 있습니다. 예를 들어, Langchain은 시, 코드, 대본, 음악 작품, 이메일, 편지 등과 같은 다양한 종류의 창의적인 텍스트 형식을 생성할 수 있습니다.
자연어 처리: Langchain은 자연어 처리(NLP) 분야에서 사용될 수 있습니다. NLP는 컴퓨터가 인간 언어를 이해하고 처리할 수 있도록 하는 분야입니다. Langchain은 NLP의 다양한 작업에 사용될 수 있습니다. 예를 들어, Langchain은 텍스트를 분류하고, 텍스트에서 정보를 추출하고, 텍스트를 요약하는 데 사용될 수 있습니다.
Kp
Subscribe to 'kpmg-lighthouse'
Welcome to 'kpmg-lighthouse'!
By subscribing to my site, you'll be the first to receive notifications and emails about the latest updates, including new posts.
Join SlashPage and subscribe to 'kpmg-lighthouse'!
Subscribe
👍
1
❤️
1
Lighthouse
Embedding이란 무엇인가? 쉽게 배우는 AI
들어가며 인공지능(AI) 분야에서 'Embedding'이란 단어를 종종 듣게 됩니다. 하지만 이 용어가 무엇을 의미하는지, 왜 중요한지 이해하기 어려울 수 있습니다. 이 글에서는 Embedding이 무엇인지, 그리고 AI에서 어떻게 사용되는지 쉽게 설명해보겠습니다. Embedding의 기본 개념 AI 모델은 숫자로 된 데이터를 가지고 작동합니다. 하지만 실제 세계의 데이터, 특히 텍스트나 이미지 같은 비정형 데이터는 숫자가 아닙니다. Embedding을 통해 이러한 비정형 데이터를 AI 모델이 이해할 수 있는 형태로 변환할 수 있습니다. Embedding의 종류 텍스트 Embedding 가장 널리 알려진 형태의 Embedding입니다. 텍스트 Embedding은 단어, 문장, 문단을 수치 벡터로 변환합니다. 예를 들어, '사과'라는 단어를 [0.65, -0.23, 0.11] 같은 벡터로 나타낼 수 있습니다. 이를 통해 컴퓨터는 '사과'라는 단어의 의미를 어느 정도 이해할 수 있게 됩니다. 이미지 Embedding 이미지 Embedding은 이미지 데이터를 처리할 때 사용됩니다. 각 이미지를 대표하는 벡터로 변환하여, 이미지의 내용이나 스타일을 수치적으로 표현할 수 있습니다. 그래프 Embedding 소셜 네트워크나 추천 시스템에서 사용되는 그래프 데이터를 위한 Embedding 방법입니다. 이는 복잡한 네트워크 구조를 단순한 벡터 형태로 표현하여, 관계나 연결성 분석을 용이하게 합니다. Embedding의 활용 예시 자연어 처리 (NLP): 텍스트 Embedding은 NLP에서 필수적입니다. 이를 통해 기계 번역, 감정 분석, 챗봇 개발 등 다양한 응용이 가능합니다. 이미지 인식: 이미지 Embedding은 사진에서 객체를 인식하거나 스타일을 분석하는 데 사용됩니다. 예를 들어, 얼굴 인식 시스템이 여기에 해당합니다. 추천 시스템: 사용자와 상품 정보를 Embedding으로 변환하여, 사용자의 취향에 맞는 상품을 추천하는 데 활용됩니다. 결론 Embedding은 AI 분야에서 중요한 개념입니다. 비정형 데이터를 수치적 형태로 변환함으로써, AI 모델이 이를 이해하고, 다양한 문제를 해결하는 데 도움을 줍니다. 이러한 기술의 발전으로 인공지능은 우리 생활에 더욱 깊숙이 자리 잡게 될 것입니다.
👍🏻😉👍
4
최윤진
퍼셉트론부터 AlexNet 까지
이번 글에서는 딥러닝의 초기 구조인 퍼셉트론부터 현대 아키텍쳐의 완성이라고 볼 수 있는 AlexNet까지 살펴보며 딥러닝을 전체적으로 개괄 해보도록 하겠습니다. 딥러닝이란? 만약 세상의 모든 지식, 원리, 감각, 현상 모두를 논리적으로 풀어내서 코딩으로 구현해낸다면 완벽한 인공지능을 만들어 낼 수 있습니다. 하지만 현실적으로 불가능하기 때문에 데이터를 통해 학습시키는 머신러닝을 통해 인공지능을 구현합니다. 학습이란 데이터의 패턴이나 특징을 일반화되도록 하는 과정을 말합니다. 딥러닝은 머신러닝 방법론 중 하나로 인간의 신경망을 모방하는 방법론 입니다. 현재 대부분의 인공지능 연구는 딥러닝을 기반으로 이루어지고 있습니다. 대표적으로 기존의 머신러닝 방법들은 데이터의 특징(피처)을 지정해줘야만 데이터 학습을 진행할 수 있지만, 딥러닝은 데이터의 특성을 지정해주지 않고도 학습 시킬 수 있다는 점에서 가장 큰 차이점이 있습니다. 예를 들어 기존 머신러닝 방법은 개나 고양이 사진을 분류하기 위해서 귀 모양, 눈의 크기 같은 피처를 지정해줘야하지만 딥러닝은 단지 이미지 벡터를 넣어주면 됩니다. 특징(피처)를 선별할 필요가 없다는 딥러닝의 특성상 많은 분야에 적용이 가능합니다. 대표적으로 언어와 같은 시퀀스 데이터를 학습하는 자연어 처리, 인간의 시각을 학습하는 컴퓨터 비전과 같은 분야가 있으며 로보틱스, 음성 등의 분야에서도 활발히 적용되고 있습니다. 특히, 문서를 종합적으로 이해하는 AI 모델을 만드는 DocumentAI 의 경우 컴퓨터 비전, 자연어 처리의 여러 태스크를 혼합하여 풉니다. 대표적으로 아래와 같은 태스크가 있습니다. 자연어 처리 (NLP) 기계 독해 MRC (Machine Reading Comprehesion) 엔티티 분석 NER - (Name Entity Relation) 개체간 관계 분석 RE (Relation Extraction)
👍🏻🤭😘😀
4
최윤진
스크래치 nanoGPT
들어가며 네이처는 매년 이슈가 된 과학자 10인, nature’s 10을 뽑습니다. 2023년 nature’s 10에 ChatGPT가 명단을 올렸습니다. 네이처는 2023년 ChatGPT 가 세상 전반에 큰 영향력을 끼쳤다고 했습니다. 더 성능이 좋고 가벼운 모델들을 개발하려는 움직임에 막대한 자본과 인력이 투입되고 있습니다. 동시에 점점 더 커지고 복잡해지는 LLM을 이해하는 것이 어려워 지고 있습니다. 이번 글에서는 GPT를 아주 간소하게 만든 nanoGPT를 만들어봄으로써 LLM의 내부 메커니즘을 파악해보겠습니다. 먼저 GPT를 잘 알기 위해서는 Transformer 모델을 알아야 합니다. 이 모델을 공식적으로 발간한 ‘Attention is all you need(NeurIPS, 2017)’ 논문은 인용수는 10만회를 넘었습니다. 이 논문을 기반으로 GPT 시리즈가 만들어졌습니다. GPT-1(2018년), GPT-2(2019년), GPT-3(2020년), InstructGPT(2022년), 그리고 2023년에 GPT-4가 나왔습니다. [Transformer] Attention Is All You Need, 2017 [GPT-1] Improving Language Understanding by Generative Pre-Training, 2018 [GPT-2] Language Models are Unsupervised Multitask Learners, 2019 [GPT-3] Language Models are Few-Shot Learners, 2020 [Instruct GPT] Training language models to follow instructions with human feedback, 2022 [GPT-4] GPT-4 Technical Report, 2023 때문에 먼저 Transformer 의 아키텍쳐를 살펴보고 nanoGPT 를 만드는 순으로 진행하겠습니다. 코드는 Andrej Karpathy 의 Let's build GPT: from scratch, in code, spelled out. 를 참고했습니다. 셰익스피어의 문체를 학습하고 생성하는 모델을 만들어보겠습니다. Before Transformer
😍😘😀
3