Share
Sign In
Lighthouse LLM
퍼셉트론부터 AlexNet 까지
최
최윤진
👍🏻
1
😀
1
😘
1
🤭
1
DALL-E 3
이번 글에서는 딥러닝의 초기 구조인 퍼셉트론부터 현대 아키텍쳐의 완성이라고 볼 수 있는 AlexNet까지 살펴보며 딥러닝을 전체적으로 개괄 해보도록 하겠습니다.
딥러닝이란?
만약 세상의 모든 지식, 원리, 감각, 현상 모두를 논리적으로 풀어내서 코딩으로 구현해낸다면 완벽한 인공지능을 만들어 낼 수 있습니다. 하지만 현실적으로 불가능하기 때문에 데이터를 통해 학습시키는 머신러닝을 통해 인공지능을 구현합니다. 학습이란 데이터의 패턴이나 특징을 일반화되도록 하는 과정을 말합니다.
딥러닝은 머신러닝 방법론 중 하나로 인간의 신경망을 모방하는 방법론 입니다. 현재 대부분의 인공지능 연구는 딥러닝을 기반으로 이루어지고 있습니다.
대표적으로 기존의 머신러닝 방법들은 데이터의 특징(피처)을 지정해줘야만 데이터 학습을 진행할 수 있지만, 딥러닝은 데이터의 특성을 지정해주지 않고도 학습 시킬 수 있다는 점에서 가장 큰 차이점이 있습니다. 예를 들어 기존 머신러닝 방법은 개나 고양이 사진을 분류하기 위해서 귀 모양, 눈의 크기 같은 피처를 지정해줘야하지만 딥러닝은 단지 이미지 벡터를 넣어주면 됩니다.
특징(피처)를 선별할 필요가 없다는 딥러닝의 특성상 많은 분야에 적용이 가능합니다. 대표적으로 언어와 같은 시퀀스 데이터를 학습하는 자연어 처리, 인간의 시각을 학습하는 컴퓨터 비전과 같은 분야가 있으며 로보틱스, 음성 등의 분야에서도 활발히 적용되고 있습니다.
출처 : http://tobetong.com/?p=9393
특히, 문서를 종합적으로 이해하는 AI 모델을 만드는 DocumentAI 의 경우 컴퓨터 비전, 자연어 처리의 여러 태스크를 혼합하여 풉니다. 대표적으로 아래와 같은 태스크가 있습니다.
자연어 처리 (NLP)
기계 독해 MRC (Machine Reading Comprehesion)

출처 : https://www.ntt-review.jp/archive/ntttechnical.php?contents=ntr201909fa3.html
엔티티 분석 NER - (Name Entity Relation)
출처 : https://towardsdatascience.com/named-entity-recognition-and-classification-with-scikit-learn-f05372f07ba2
개체간 관계 분석 RE (Relation Extraction)
출처 : https://paperswithcode.com/task/relation-extraction
정보 추출 (Key Information Extraction)

출처 : https://blog.research.google/2022/04/formnet-beyond-sequential-modeling-for.html
정보 검색 (information retrieval)
요약 (Summarization)
컴퓨터 비전(CV)
이미지 분류(Image Classification)
출처 : https://towardsdatascience.com/10-papers-you-should-read-to-understand-image-classification-in-the-deep-learning-era-4b9d792f45a7
객체 탐지(Object Detection)
출처 : https://alwaysai.co/blog/object-detection-for-businesses
분할(Segemntation)
출처 : https://indiaai.gov.in/article/image-segmentation-the-deep-learning-approach
OCR
출처 : https://www.plugger.ai/blog/what-is-optical-character-recognition-ocr-the-definite-guide
레이아웃 분석(Layout Analysis)
출처 : https://towardsdatascience.com/auto-parse-and-understand-any-document-5d72e81b0be9
VQA (Visual Question Answering)
출처 : https://visualqa.org/
[딥러닝 타임라인] 퍼셉트론부터 AlexNet까지
1.
1958년, 인간의 신경망을 모방한 퍼셉트론 출시
2.
[딥러닝의 1차 겨울] 1969년, 퍼셉트론으로 XOR 문제와 같은 비선형 문제를 풀 수 없다는 것이 밝혀짐.
3.
1974년, Backpropagation 알고리즘을 통해 가중치와 편향을 자동으로 계산하는 방법을 고안.
4.
1986년, 제프리 힌튼이 다층 퍼센트론(MLP) 를 제시함으로써 비선형 문제를 풀 수 있게 됨.
이것을 기반으로 CNN, RNN 과 같은 딥러닝 알고리즘 등장.
5.
[딥러닝의 2차 겨울] 1990년대 부터 기울기 소실, 오버피팅, 느린 학습시간 등의 문제를 극복하지 못해 또 다시 암흑기를 맞이함.
6.
2012년 ReLU 활성화 함수, DropOut 과 같은 방법들의 등장으로 기존 문제를 해결함.
AlexNet의 등장과 함께 딥러닝이 부흥함.
출처 : https://datart.tistory.com/22
요약하자면 3세대에 걸져 현대 딥러닝 신경망 아키텍쳐가 탄생되었습니다.
아키텍쳐
1세대
퍼셉트론
2세대
MLP
3세대
AlexNet(ReLU, DropOut)
퍼셉트론부터 차례대로 살펴보겠습니다.
1. 1958년 - 퍼셉트론
출처 : https://kwounsu.medium.com/간단요약-퍼셉트론-로지스틱-회귀-서포트-벡터-머신-56cf834d53c4
퍼셉트론은 인간의 뉴런 구조를 모방하여 만든 구조입니다.
x 는 입력 값이며, w는 가중치입니다.
input값은 벡터
input값은 벡터이며 각 차원은 데이터의 특징을 의미합니다. 하나의 노드는 하나의 차원을 의미합니다.
예를 들어 키와 몸무게를 통해 건강 상태를 예측하는 모델을 만들어 본다고 생각해보겠습니다.
그렇다면 x = (x1, x2) 는 x = (키, 몸무게) 로 표현될 수 있습니다.
퍼셉트론의 노드 갯수에 의해 입력 가능한 벡터의 shape이 정해집니다. 관찰되는 데이터에 따라 그 내부 실제 값들은 매번 달라집니다.
x1 = (170, 70)
x2 = (180, 78)
28*28 픽셀로 표현되는 이미지 데이터는 784 차원의 벡터 로 표현할 수 있으며 784개의 노드들로 입력값에 들어값니다.
출처 : https://steemit.com/kr-steemit/@beseeyong/mnist-data
문자단위로 글자의 특징을 인식한다고 하면 100글자의 문장은 100 차원의 벡터로 표현할 수 있습니다.
가중치는 각 노드가 얼마나 중요한지를 알려준다.
각 노드 값들은 각각 가중치와 곱해져서 가중합이 되어 전달됩니다. 가중치(w)는 연결 강도로서 어느 노드가 얼마만큼 중요한지를 나타내는 값이라 할 수 있습니다. 키와 몸무게 중 어느 것이 건강 상태에 영향을 주는 지를 나타내는 값입니다. 다음과 같이 계산되어 출력층으로 전달 됩니다.
T=∑i=1nwixiT = \sum_{i=1}^{n} w_ix_i
이것은 아래와 같이 선형 변환식으로 표현될 수 있습니다.
T=w⋅xT = w ⋅ x
w=(w1,w2,w3,...,wn)w = (w_{1}, w_{2}, w_{3}, ... , w_{n})
x=(x1,x2,x3,...,xn)x = (x_{1}, x_{2}, x_{3}, ... , x_{n})
퍼셉트론은 하나의 선형변환입니다.
활성화 함수
활성화 함수는 가중 합된 값을 최종적으로 어떻 출력할 지 결정 짓는 함수입니다.
퍼셉트론에서는 활성함수로 0과 1로 이진 분류를 하는 계단함수를 사용했습니다. 퍼셉트론의 출력은 항상 0 or 1 입니다.
추가로 활성화 함수의 활성 강도를 조정해주기 위한 조정 값으로 출력값에 편향 b 값을 더해줍니다.
아래와 같이 가중합과 편향이 더해진 값은 활성화 함수를 거쳐 최종 퍼셉트론의 출력이 됩니다.
output=f(w⋅x+b)output = f\left(w ⋅ x + b\right)
(f는계단함수)(f는 계단함수)
x1 = (170, 70) - 정상
x2 = (180, 78) - 정상
x3 = (180, 150) - 비정상
x4 = (170, 200) - 비정상
위의 데이터를 w1=1, w2=1, b=-300 으로 지정하면 학습 정답 데이터대로 이진 분리를 정확히 해낼 수 있습니다.
아래는 키와 몸무게를 기반으로 건강 상태를 알아내는 퍼셉트론입니다.
Perceptron=F(1∗x1+1∗x2−300),f는계단함수Perceptron = F(1*x_{1} + 1*x_{2} - 300), f 는 계단함수
Q. 새로운 데이터 (175, 200) 은 정상인가? 비정상인가 ?
A. 모델에 따르면 175 + 200 - 300 > 0 이므로 비정상입니다.
퍼셉트론은 XOR 문제를 풀지 못한다.
퍼셉트론에서 가중치를 조절하면 AND, OR 로 표현되는 현상을 표현해낼 수 있습니다.
하지만 퍼셉트론은 절대 XOR을 모델링할 수 없습니다. 현실속의 많은 문제들은 비선형 구조를 가지고 있기 때문에 XOR 을 모델링 하지 못한다는 것은 심각한 문제입니다.
아래 그림은 (1,1), (1,0), (0,1), (0,0) 을 좌표 평면에 표시하고 퍼셉트론을 통해 AND, OR, XOR 분리하는 그림입니다. 퍼셉트론은 구조적으로 곡선을 근사할 수 없기 때문에 XOR 과 같은 비선형이 필요한 분포는 표현할 수 없습니다. 관찰되는 데이터는 비선형의 구조를 가지고 있기 때문에 한계에 봉착하게 되는 것입니다.
출처 : https://velog.io/@soyoun9798/DL1-2장-정의-구현-한계점
2. 1986년 - MLP
퍼셉트론을 2층 이상 쌓은 것을 다층 퍼셉트론(MLP, Multi-Layerd Perceptron)이라 하며 신경망(Neural Network)이라 칭합니다. 신경망은 시그모이드 활성화 함수와 결합하여 비선형 함수를 표현할 수 있게 되었고, 이로 인해 퍼셉트론의 한계였던 XOR을 해결하게 되었습니다.
💬
Q. 선형성이란?
A. 아래 두가지 비례성(proportionality)와 덧셈 가능성(additivity)이 성립해야 한다.
비례성(proportionality): f(kx)=kf(x) 가 모든 실수 k와 x에 대해 성립해야 한다.
덧셈 가능성(additivity): f(x+y)=f(x)+f(y) 가 모든 실수 x와 y에 대해 성립해야 한다.
비선형 활성화 함수
신경망을 여러개 쌓으면 표현력이 증가하지만, 활성화 함수가 없다면 퍼셉트론을 깊게 쌓는것은 의미가 없습니다. 왜냐하면  $B*(Ax)$ 는 $BAx$ 로 표현될 수 있기 때문있며, 이것은 하나의 선형 변환으로 $Cx$ 로 나타낼 수 있다는 것을 의미합니다.
하나의 층은 한번의 선형 변환이다. 활성화 함수가 없으면 여러 층을 쌓는 것은 하나의 변환과 같아질 수 있다. 출처 : https://jinseob2kim.github.io/deep_learning.html
따라서 비선형모양의 활성화 함수를 중간에 넣어주는 것이 중요합니다.
MLP를 만들어 낸 제프리 힌튼은 시그모이드 함수를 비선형 활성화 함수로 사용했습니다. 시그모이드 함수는 $−∞$에서 $+∞$ 사이의 모든 실수를 입력값으로 받아서 0과 1사이의 값을 출력하는 함수입니다.
시그모이드 함수 출처 : https://medium.com/@dlgkswn3124/summary-ablation-cam-visual-explanations-for-deep-convolutional-network-via-gradient-free-7cbc71a2e64d
이전 층에서 건너온 출력값들이 시그모이드를 거쳐 선형적으로 표현할 수 없는 비선형 변환을 거치게 되고 이러한 작업들이 층 단위로 이루어지면서 복잡한 표현(함수)를 얻게 되는 것입니다.
아래 그림을 살펴보면 활성화 함수와 퍼셉트론 층을 많이 쌓을 때 마다 더 복잡한 함수를 근사하는 것을 확인 할 수 있습니다.
출처 : https://jinseob2kim.github.io/deep_learning.html
MLP에서 가운데 존재하는 층을 ‘은닉층(hidden layer)’ 이라 칭합니다. 이것들이 하는 역할은 무엇일까요?
출처 : https://elogeel.wordpress.com/2010/05/05/multilayer-perceptron/
각 은닉층의 출력값들은 이전 층의 출력 값을 가중합하여 활성화 함수를 거친 값 들입니다.
수식적으로 보면 매우 복잡한 모양의 함수를 신경망이 만들어 내는 역할을 하는 값들입니다.
출처 : https://www.digitalocean.com/community/tutorials/mnist-dataset-in-python
신경망은 어떻게 숫자 3과 1을 구분 할 수 있는 걸까요? 이미지가 일렬로 나열되어 784 차원으로 들어왔다고 가정했을 때 분명 3과 1의 차이는 어느정도 존재합니다. 적절한 학습을 가하면 가로 부분이 탐지 되었을 때 은닉층의 특정 노드가 높은 활성화 값을 보이고, 세로 부분의 특정 패턴이 감지되었을 때 특정 노드가 활성화가 됩니다.
선형 변환과 활성화 함수를 거치고 적절한 가중치 조정이 이뤄지면 사람이 알지 못하는 미세한 변화와 패턴들을 은닉층의 노드들을 통해 감지해낼 수 있습니다.
출처 : https://stackoverflow.com/questions/60126470/how-can-i-concatenate-dynamic-values-with-the-flatten-vector-in-cnn
잘 표현할 수 있다는 것을 알아냈으니 이것을 결정하는 가중치(w) 를 찾기 위해선 어떻게 해야 할까요? MLP 이의 단점은 층을 쌓을수록 가중치 수도 많아진다는 사실입니다. 자동으로 가중치를 조절할 수 있는 방법들을 찾기 위해 노력했고 그에 대한 해답이 손실함수(Loss Funtion) 과 Backpropagation 입니다.
가중치 조절을 위한 손실 함수
먼저 직접 관찰된 데이터를 통해서 직접 가중치를 찾아내는 방법을 시도해보겠습니다.
키와 몸무게 관계 데이터를 생각해봅시다. 키에 따라 몸무게를 결정하는 모델을 찾고 싶습니다.
키(input x)
몸무게(정답)
100
30
150
50
170
70
180
78
아주 간단하게 활성화 함수 조차 없는 단순한 퍼셉트론으로 모델링 해봅시다.
yprediction=w∗x+by_{prediction} = w*x + b
이제 아래와 같이 모델의 prediction을 적을 수 있습니다.
키(input x)
몸무게(정답)
y_prediction
100
30
100*w + b
150
50
150*w + b
170
70
170*w + b
180
78
180*w + b
현재 작업의 목적은 관찰된 데이터로 부터 딥러닝 신경망의 적절한 가중치를 찾아내는 것입니다.
만약 일반성을 반영하는 데이터가 수집되었다는 가정하에 $y_{true} - y_{prediction} = 0$ 이도록 w와 b 를 조정해 주는 것이 합리적입니다.
$30 - (100*w + b) = 0$
$50 - (150*w + b) = 0$
이 두 식을 통해 $w = 0.4, b=-10$ 을 손쉽게 밝혀 낼 수 있습니다.
손실함수의 기본적인 아이디어는 모델 예측값과 관찰된 데이터(정답)의 차이가 0에 가깝게 수렴되도록 가중치를 조절하면 그것은 데이터를 잘 설명하는 모델이라는 것입니다.
위에선 단순한 차이를 손실 함수로 사용했지만, 손실 함수는 데이터의 형식에 따라 다르게 지정할 수 있습니다.
손실함수=F(ytrue,yprediction)손실함수 = F(y_{true},y_{prediction})
MAE(평균 절대 오차) : 차이의 절댓값을 오차로 계산
MSE(평균 제곱 오차) : 차이의 제곱합을 오차로 계산
크로스 엔트로피 : 확률 분포 차이를 오차로 계산
손실 함수의 아이디어를 설명하기 위해서 위에서는 직접적으로 식을 풀었지만 가중치가 많아지면 적용이 불가능한 방법입니다.
손실함수의 최솟값 찾기 : 미분
실제로는 미분을 통해 손실 함수의 가장 작은 지점을 찾아내는 방식을 사용합니다. 미분은 순간의 변화율을 의미하며 그것의 음의 방향으로 이동하는 것은 그 지점에서 최솟값을 향해 가는 가장 빠른 길입니다.
만약 가중치가 1개라면 학습 라벨 데이터와 학습 하려는 모델의 손실이 아래와 같이 좌표 평면에 표시할 수 있습니다. 손실이 출력되면 가중치에 대한 손실함수의 접선의 기울기에 비례에 음의 방향으로 가중치를 조절하면 됩니다. 그렇게 움직인다면 조정된 가중치는 같은 상황에서 손실이 적게 나오게 됩니다.
모든 데이터를 MSE 로 손실을 계산해서 그릴 수 있는 식, 그 데이터에 한해 손실을 최소화하는 w 값이 존재함. x 축은 weight. 출처 : [https://velog.io/@superahxd/역전파Backpropagation-backward-pass](https://velog.io/@superahxd/%25EC%2597%25AD%25EC%25A0%2584%25ED%258C%258CBackpropagation-backward-pass)
가중치가 여러개인 경우에도 기본적인 원리는 같습니다. 다변수 상황에서는 손실함수를 각 가중치 변수로 편미분한 벡터를 Gradient Vector라 칭하고 그것의 음의 방향으로 이동하면 됩니다. 이것을 gradient descent 라고 합니다. gradient descent는 산 정상에서 가장 빠르게 하산하는 길을 찾아내는 것으로 비유할 수 있습니다.
출처 : https://mangkyu.tistory.com/34
출처 : https://venkysdatablogs.hashnode.dev/gradient-descent-optimizing-machine-learning-models
손실함수를 구성하는 모든 가중치에 대해서 편미분해서 gradient Vector를 구성하는 것이 가장 원론적인 방법(수치미분)입니다. 하지만 이것은 가중치 개수 만큼 미분을 해야 하기 때문에 비효율적인 방법이며 연쇄법칙(Chain Rule) 을 기반으로 하는 Backpropagation 을 통해 gradient descent 를 수행하게 됩니다.
Backpropagation : 각 가중치들은 손실에 얼마나 영향을 미치나요?
신경망의 구조는 이전의 은닉층이 다음 은닉층에 영향을 주며 모든 가중치는 모두 연결되어 있습니다.
아래 그림처럼 생각해볼 수 있습니다.
출처 : https://mathinsight.org/chain_rule_idea
함수로 적어본다면 다음과 같이 적을 수 있습니다.
y=f(g(x))y = f(g(x))
y 에 대한 x 의 변화율을 얻기 위해선 곧바로 계산 할수도 있지만 아래와 같이 변화율의 곱을 통해 표현 될 수 있습니다.
출처 : https://velog.io/@wise_head/모델-학습법-02
각 단계의 변화율을 곱함으로써 역순으로 변화율을 차례대로 계산할 수 있는 것입니다. 이것이 연쇄법칙(chain rule) 이며 backpropagation은 이것을 이용하여 가중치를 조절해나가는 방법입니다.
아래 신경망을 생각해봅시다.
출처 : https://evan-moon.github.io/2018/07/19/deep-learning-backpropagation/
활성화 함수는 시그모이드라고 가정했을 때 실제 계산되는 값들입니다.
손실함수는 MSE(평균 제곱 오차), 활성화 함수는 시그모이드라 해봅시다.
손실에 대한 w^{1}_{10} 미분은 chain rule 에 의해 아래와 같이 계산 될 수 있습니다.
Kp
Subscribe to 'kpmg-lighthouse'
Welcome to 'kpmg-lighthouse'!
By subscribing to my site, you'll be the first to receive notifications and emails about the latest updates, including new posts.
Join SlashPage and subscribe to 'kpmg-lighthouse'!
Subscribe
👍🏻
1
😀
1
😘
1
🤭
1
Other posts in 'Lighthouse LLM'See all
최윤진
DALLE 는 어떻게 이미지를 생성할까 ?
이번 글에서는 텍스트로 이미지를 생성할 수 있는(text to image) 모델인 DALLE에 대해 살펴보도록 하겠습니다. Image Generation 이미지 생성 분야의 경우 2014년 부터 GAN이라는 모델을 기반으로 빠르게 발전해왔습니다. 현재는 사람의 그림과 AI가 생성한 그림을 구분하는 게 불가능에 가까울 정도로 고도화 된 상황입니다. 2022년에는 미드저니라는 이미지 생성 AI 모델의 작품을 이용하여 그림 대회에서 우승한 사건이 있었습니다. DALLE를 살펴보기 앞서, GenAI에 대해 먼저 살펴보도록 하겠습니다. Gen AI Representation 일반적으로는 딥러닝 모델은 데이터의 정답을 기반으로 지도학습을 수행합니다. 개와 고양이를 구분하는 분류 문제를 푸는 경우, 이 과정에서 모델은 서로 다른 클래스의 구분하는 함수를 근사합니다. 오버피팅, 언더피팅이 되지 않고 잘 학습된 모델은 새로운 데이터에 대해서도 올바르게 예측을 할 수 있습니다. 이때 모델을 보고 데이터를 잘 representation 했다고 말합니다. AlexNet은 MNIST 손글씨 데이터셋 대해 잘 분류를 해냈기 때문에 MNIST 손글씨 데이터셋에 대해 좋은 representation 가진 모델이라 할 수 있습니다. Generation 하지만 이런 Representation을 잘한다고 해서 Generation 잘 하지는 않습니다. 영어를 잘 읽고 듣는 사람이, 쓰거나 말하지 못하는 경우와 마찬가지 입니다. 그런 이유로 Generation을 잘 할 수 있도록 모델을 설계하는 분야가 GenAI로써 별도로 존재합니다. GenAI 모델은 representaion Model 의 도움을 받아 생성을 수행할 수도 있으며 단독으로 생성을 학습할 수 도 있습니다.
최윤진
데이터 전처리와 정규표현식
이번 글에서는 딥러닝 학습에서 데이터가 가지는 중요성을 살펴보고, 데이터 전처리에 사용되는 정규표현식에 대해 살펴보겠습니다. 1. 딥러닝 성공 배경 딥러닝이 성공할 수 있었던 이유는 크게 3가지 입니다. Algorithms AlexNet, CNN, RNN, Transformer, BERT, GPT .. Computation V100, A100 .. Data MNIST, CIFAR, WikiText .. Data - Model - Cuda 먼저, Backpropagation, ReLU, Dropout, CNN 과 같은 기술들을 통해 AlexNet 이 만들어졌습니다. 시계열 데이터의 경우 RNN-LSTM-Transformer-BERT/GPT 로 이어지는 모델 계보가 있습니다. 이러한 모델 아키텍쳐가 있었기 때문에 딥러닝이 성공할 수 있었습니다. 다음 Computation 능력의 경우 병렬 처리가 가능한 좋은 GPU가 덕분에 효과적으로 학습과 추론을 할 수 있었고, 이 때문에 딥러닝이 성공할 수 있었습니다. 마지막으로 데이터입니다. 딥러닝 모델과 GPU 모두 양질의 데이터가 있을 때 비로소 의미가 있습니다. MNIST, CIFAR, WikiText 와 같은 품질 좋은 거대 데이터셋이 있었기 때문에 오차 계산의 재료가 충분했습니다. 소프트웨어 개발에 있어서 코드(Code)는 딥러닝 개발에 있어서 데이터와 같습니다. 2. 데이터 & 데이터 전처리 필요성
😀👍🏻
2
Lighthouse
Embedding이란 무엇인가? 쉽게 배우는 AI
들어가며 인공지능(AI) 분야에서 'Embedding'이란 단어를 종종 듣게 됩니다. 하지만 이 용어가 무엇을 의미하는지, 왜 중요한지 이해하기 어려울 수 있습니다. 이 글에서는 Embedding이 무엇인지, 그리고 AI에서 어떻게 사용되는지 쉽게 설명해보겠습니다. Embedding의 기본 개념 AI 모델은 숫자로 된 데이터를 가지고 작동합니다. 하지만 실제 세계의 데이터, 특히 텍스트나 이미지 같은 비정형 데이터는 숫자가 아닙니다. Embedding을 통해 이러한 비정형 데이터를 AI 모델이 이해할 수 있는 형태로 변환할 수 있습니다. Embedding의 종류 텍스트 Embedding 가장 널리 알려진 형태의 Embedding입니다. 텍스트 Embedding은 단어, 문장, 문단을 수치 벡터로 변환합니다. 예를 들어, '사과'라는 단어를 [0.65, -0.23, 0.11] 같은 벡터로 나타낼 수 있습니다. 이를 통해 컴퓨터는 '사과'라는 단어의 의미를 어느 정도 이해할 수 있게 됩니다. 이미지 Embedding 이미지 Embedding은 이미지 데이터를 처리할 때 사용됩니다. 각 이미지를 대표하는 벡터로 변환하여, 이미지의 내용이나 스타일을 수치적으로 표현할 수 있습니다. 그래프 Embedding 소셜 네트워크나 추천 시스템에서 사용되는 그래프 데이터를 위한 Embedding 방법입니다. 이는 복잡한 네트워크 구조를 단순한 벡터 형태로 표현하여, 관계나 연결성 분석을 용이하게 합니다. Embedding의 활용 예시 자연어 처리 (NLP): 텍스트 Embedding은 NLP에서 필수적입니다. 이를 통해 기계 번역, 감정 분석, 챗봇 개발 등 다양한 응용이 가능합니다. 이미지 인식: 이미지 Embedding은 사진에서 객체를 인식하거나 스타일을 분석하는 데 사용됩니다. 예를 들어, 얼굴 인식 시스템이 여기에 해당합니다. 추천 시스템: 사용자와 상품 정보를 Embedding으로 변환하여, 사용자의 취향에 맞는 상품을 추천하는 데 활용됩니다. 결론 Embedding은 AI 분야에서 중요한 개념입니다. 비정형 데이터를 수치적 형태로 변환함으로써, AI 모델이 이를 이해하고, 다양한 문제를 해결하는 데 도움을 줍니다. 이러한 기술의 발전으로 인공지능은 우리 생활에 더욱 깊숙이 자리 잡게 될 것입니다.
👍🏻😉👍
4