Share
Sign In
공부 내용
ELK stack (Elastic search, log stash, kibana)
Y
yeji Kim
👍
Elastic search - 데이터 저장, 검색 엔진
inverted index (key - word, value - doc)
특징
scale out - 샤드를 통해 수평적으로 규모를 늘릴 . 수있음
cluster, node, index, shard, replica 확인
고가용성 - replica를 통해 데이터의 안정성을 보장
schema free - json 문서를 통해 데이터 검색을 수행. → 스키마 개념이 없음.
rest ful - 데이터 crud 작업은 http restful api를 통해 수행하며 각각 다음과 같이 대응.
ES의 검색
쿼리 컨텍스트
연관성을 계산해 최대한 비슷한 데이터를 찾아줌. BM25
필터 컨텍스트
Log stash - 데이터 수집
로그 - 반정형 데이터
로그 수집 후 로그 형태를 분석하고 정제하는 작업이 필요함.
특징
플러그인 기반
모든 형태의 데이터 처리
성능 - 자체 내장 메모리와 파일 기반 큐 사용
안정성 - 데드 레터 큐
파이프라인 - 입력 → 필터 → 출력
입력
file, syslog, kafka, jdbc 등
필터
grok, dissect, mutate, date 등
출력
elasticsearch, file, kafka 등
Beats
특징
가벼운 프로그램을 지향해서 목적별로 다양한 비츠가 존재함.
비츠 종류
filebeat, heartbeat, metricbeat, packetbeat, auditbeat, journalbeat, functionbeat, winlogbeat, custom beats
Kibana - 시각화
주요 기능
데이터 분석과 시각화 툴
엘라스틱 관리
엘라스틱 중앙 허브
시각화 기능
인덱스 패턴
키바나 시각화를 위해선 반드시 es index에 연결되어야 함. → el index에서 소스를 가져오는 걸 index pattern이라고 함
Subscribe to '아무튼-작업일지'
Welcome to '아무튼-작업일지'!
By subscribing to my site, you'll be the first to receive notifications and emails about the latest updates, including new posts.
Join SlashPage and subscribe to '아무튼-작업일지'!
Subscribe
👍
Other posts in '공부 내용'See all
yeji Kim
패턴러닝
패턴 러닝 !! template matching ... 궁금한 것들 패턴 매칭 ... 아 이거 진짜 간단한 건데. 어 ... 이거 LLM 못 시키나. 결국 LLM을 만들어야 ... 아니 하드웨어를 만들어야 ... 똑똑한 친구를 어떻게 현업에 적용할지 ...! ...!!...!! OCR한 결과, 문법 교정한 결과 제공 사용자에게 표시해달라 LLM한테 나눠달라 고쳐달라 오 이 피드백 과정을 좀 자동화할 수 있나 좋은데 오 개좋은데? 이거를... 이거를 헤헷 요렇게 피드백하는 것만이라도 왓다갓다할 . 수있게 하고 싶다!! 헤헤헿 이걸 하려면 어떤 함수들이 필요한지 !!!
yeji Kim
Large Language Models for Information Retrieval: A Survey
Introduction retrieval upstream - query reformulation downstream - reranking and reading reranking only on a limited set of relevant documents personalization, diversification Background Info retrieval relevance estimation - lexical similarity between the query and document vectors. Components Query rewriter Retriever Reranker - fine-grained reordering Reader - comprehend real-time user intent and generate dynamic responses Search agent LLMs Query rewriter Rewriting scenario
yeji Kim
Web 3.0
web 1, 2, 3 1.0 - 읽기 2.0 - 읽기+쓰기 3.0 - 읽기+쓰기+개인화(소유) 탈중앙화. 플랫폼 없어짐. 시맨틱 웹 컴퓨터가 사람 대신 정보를 읽고, 이해하고, 가공하여 새로운 정보 생성. 마크업 - XML, RDF 등 온톨로지