Share
Sign In
TIL 웹개발
TIL 웹개발 - 빅데이터 인공지능
서경태
👍
빅데이터
데이터의 종류
정형 데이터
정량적이고 수치로 확인할 수 있거나 구조를 가지고 있는 데이터를 의미
시간, 시계열, 데이터, 금융 데이터 등등
비정형 데이터
수치적으로 확인할 수 없거나 구조를 띄지 않는 데이터를 의미
그림, 소리, 영상 등등
반정형 데이터
정형 데이터와 비정형 데이터의 성격을 두 개 다 가지는 데이터
DICOM, JSON, XML, 스마프톤에서 위치 값을 함께 저장하는 사진
데이터 전처리
데이터를 AI에게 학습시키기 전이나 분석하기 전에 적합한 형태로 가공하는 작업
빅데이터
단순히 많은 양의 데이터를 의미하는 것이 아님.
규모, 속도, 다양성 - 3가지의 특성을 가진다.
규모 - 굉장히 방대한 양의 유의미한 데이터
속도 - 데이터의 생성 및 처리 속도가 매우 빠름
다양성 - 데이터의 종류 뿐만 아니라 형식이 다양하다.
데이터 수집 계획
빅데이터를 구성하기 위해서는 ㅁ여확한 수집 계획이 필요
데이터 식별 및 선택 → 데이터 수집/저장 방법 결정 → 데이터 수집 → 데이터 저장 → 데이터 정제 → 데이터 구조화 → 데이터 전처리 → 빅데이터 구성
메타데이터 : 다른 정보에 대한 정보를 의미, 어떤 정보의 근원에 대한 정보를 담고 있다.
회귀분석: 두개 이상의 변수 간의 관계를 분석하는 방법
회귀 분석 종류
단순 회귀 분석
다중 회귀 분석
다항 회귀 분석
로지스틱 회귀 분석 (꼭 찾아보기)
군집분석: 유사한 특성을 가진 군집으로 나누기 위한 분석 방법
IoT 사물인터넷: 인터넷을 통해 다양한 물리적 장치들이 서로 연결되어 데이터를 주고 받으며 상호작용하는 시스템을 의미한다.
로드밸런싱 : 부하가 집중되는 것을 방지하기 위해 여러 서버에 네트워크 트래픽을 분산시키는 기술
데이터 레이크 : 원시 데이터를 그대로 저장하는 시스템
데이터 거버넌스: 데이터의 신뢰성, 사용성, 보안성을 보장하기 위해 관리하는 모든 작업을 의미한다.
데이터 웨어하우스: 대량의 데이터를 통합, 저장하여 분석하는 시스템
인공지능
Deep learning 딥러닝
인공지능을 학습시키거나 문제를 해결하기 위한 핵심 알고리즘을 의미 → 사고방식
Neuron 뉴런 : 신경망의 기본 단위로 입력을 받아 가중치를 적용하고 활성화 함수를 통해 출력을 생성
Layer 레이어 : 뉴런들이 모여있는 층으로 보통 입력층(Input Layer), 은닝층(Hidden Layer), 출력층(Output Layer)으로 구성
Weihgt 가중치: 뉴련에서 다음 뉴런으로 넘길 때 중요도(가중치)를 적용하기 위한 매개변수
가중치에 따라 결과가 달라진다. 올바른 학습을 많이 시킬수록 더 정교한 가중치가 만들어진다.
Model 모델 : 보통 인공지능 분야에서 모델이라고 하면 어떤 AI나 신경망 등 대상체를 의미한다.
ANN (Artifical Neural Network) 인공신경망 : 여러 뉴런으로 이루어진 인공 신경망을 의미
DNN(Deep Neural Network) 심층신경망: 기존의 ANN의 단점을 해결하기 위한 은닝층을 통해 더 깊은 신경망 구조를 갖는 신경망
CNN(Convolution Neural Network) 합성곱신경망: 특징을 추출하고 패턴을 파악하는데 우수한 신경망
RNN(Recurrent Neural Network) 순회신경망 : 시간적인 특성을 함께 학습하고 정교하기 위한 신경망
다층 퍼셉트론 : 층이 여러개가 이루저인 신경망
역전파 알고리즘 : 신경망의 가중치를 업데이트하여 오차를 최소화하는 방법
생성적 적대 신경망 : 새로운 데이터를 생성하기 위한 신경망
Machine learning 머신러닝
인공지능을 학습시키는 것을 의미
지도 학습
입력 데이터와 정답을 함께 주며 학습시키는 방식
비지도학습
입력 데이터만 주어지고, 정답이 없는 상태에서 데이터의 패턴이나 구조를 찾는 방식
강화 학습
시행착오를 통해 보상을 최대화하기 위해 학습하는 방식
반지도 학습
일부 데이터에 대해서는 분류와 정답이 있지만 나머지 읿부는 없는 상태로 학습
Artificial Inteligenc 인공지능
딥러닝 알고리즘을 통해 머신러닝이 된 프로그램을 인공지능이라고 한다.
약인공지능(Narrow AI or Week AI)
특정 작업이나 문제를 해결하는데 특화된 AI, 일반 지능이 아닌 특정 분야에서만 능력을 발휘하는 인공지능 모델
강인공지능(General AI or Strong AI)
인간과 유사한 수준의 지능을 가지고 다양한 작업을 수행할 수 있는 인공지능 모델을 의미
대형 언어 모델(Large Language Model, LLM)
많은 양의 텍스트 데이터를 학습하여 언어 이해와 생성 능력을 갖춘 인공지능 모델
초인공지능 (Superinteligence AI)
인간의 지능을 초월하는 AI, 상상 속의 개념으로 아직은 이론적인 단계
Subscribe to 'kyugntae-ai'
Welcome to 'kyugntae-ai'!
By subscribing to my site, you'll be the first to receive notifications and emails about the latest updates, including new posts.
Join SlashPage and subscribe to 'kyugntae-ai'!
Subscribe
👍
Other posts in 'TIL 웹개발'See all
서경태
TIL 웹개발 - CS면접 대비 정리글
모의 CS면접을 하루 앞두고 기억나는대로 정리를 해보려한다. 컴퓨터 구조 컴퓨터는 네 가지 장치로 이뤄진다. CPU 컴퓨터의 뇌에 해당하며 연산을 담당한다. 주기억장치 = RAM , 메모리 보조기억장치에 저장된 프로그램을 실행시키면 주기억장치에 올라와 사용한다. 전원이 꺼지면 주기억장치에 담긴 메모리도 없어진다. 보조기억장치 HDD, SSD 등 컴퓨터가 꺼져도 유지되는 장치. 평소 보조기억장치에 저장되었다가 프로그램이 실행되면 주기억장치에서 작동한다. 입출력장치 마우스, 키보드, 모니터 등 컴퓨터에 입력 혹은 출력을 할 수 있는 것들을 말한다. 프로세스: 작업이 이루어지는 것을 말한다. 프로세스의 순서 신규, 준비, 실행, 대기, 종료 로 이루어진다. 프로그램을 불러오면 신규에서 준비단계로 넘어온다. 메모리의 할당을 마치면 준비에서 실행 단계로 넘어가 실행된다. 실행 중 입력이 필요하면 대기단계로 넘어간다. 입력을 마치면 다시 준비 단계로 넘어가고 실행단계에서 출력한다. 종료를 하면 실행에서 종료 단계로 넘어간다. 프로세스 구조
서경태
TIL 웹개발 - 유연한 사고를 가져라
알고리즘 조금 풀어봤다고 모든걸 알고리즘으로 풀려고 하기 시작했다. 펠린드롬 관련 문제를 백트래킹으로 풀면 결국 풀리는거 아냐? 하고 시작했는데... 파이참이 계산을 하다가 꺼져버렸다... 그래서 아 이건 안되겠구나 싶어.. 다시 코드를 작성했다. 조금만 더 유연한 사고를 가지면 사실 펠린드롬은 1/2로 충분히 계산할 수 있고 경우의 수가 아니면 굳이 백트레킹을 사용할 필요도 없다. 결국 내가 작성한 코드는 시간 복잡도는 O(n^2)다. 이상한거에 매몰되어 시간을 낭비하지 말자. 공부시간이 줄어든다.
서경태
TIL 웹개발 - 자료구조
기본적인 자료구조 연결리스트 스택 큐 해시테이블 힙 연결리스트 Array LinkedList 특정 원소 조회 O(1) O(N) 중간에 삽입 삭제 O(N) O(1) 데이터 추가 데이터 추가시 모든 공간이 다 차버렸다면 새로운 메로리 공간을 할당받아야한다. 모든 공간이 다 찼어도 맨 뒤의 노드만 동적으로 추가하면 된다. 정리