Share
Sign In
공부 내용
.
Y
yeji Kim
👍
모델 용량 - 10억으로 나눈 뒤 데이터 타입 바이트 수 곱하기
e.g. 7B 모델 16비트(2바이트) → 7*2=14GB
from llama_index.core import Document, VectorStoreIndex
상호 순위 조합 구현하기
BM25와 의미 벡터 검색 방법
벡터 데이터베이스
벡터 라이브러리 - Faiss, Annoy, NMSLIB, ScaNN
벡터 전용 데이터베이스 - pinecone, weaviate, milvus, chroma, qdrant, vespa
벡터 기능 추가 데이터베이스 - elasticSearch, PostgreSQL, MongoDB, Neo4j
MLOps
데이터 준비 → 모델 학습 → (모델 저장소 ↔ 모델 평가) → 모델 배포 → 모니터링 → 재학습 ...
멀티 에이전트 - AutoGen, MetaGPT, CrewAI
사용자 맞춤형 정보
연결 - 관련된 자료 보기
맞춤형!
사용자와 소통할 수 있게. → 프롬프트 기능
프롬프트 내용 기반으로 나만의 요약본
출력형
질문 던져서 채점해주는 거!!
Subscribe to '아무튼-작업일지'
Welcome to '아무튼-작업일지'!
By subscribing to my site, you'll be the first to receive notifications and emails about the latest updates, including new posts.
Join SlashPage and subscribe to '아무튼-작업일지'!
Subscribe
👍
Other posts in '공부 내용'See all
yeji Kim
ELK stack (Elastic search, log stash, kibana)
Elastic search - 데이터 저장, 검색 엔진 inverted index (key - word, value - doc) 특징 scale out - 샤드를 통해 수평적으로 규모를 늘릴 . 수있음 고가용성 - replica를 통해 데이터의 안정성을 보장 schema free - json 문서를 통해 데이터 검색을 수행. → 스키마 개념이 없음. rest ful - 데이터 crud 작업은 http restful api를 통해 수행하며 각각 다음과 같이 대응. ES의 검색 쿼리 컨텍스트 연관성을 계산해 최대한 비슷한 데이터를 찾아줌. BM25 필터 컨텍스트 Log stash - 데이터 수집 로그 - 반정형 데이터 로그 수집 후 로그 형태를 분석하고 정제하는 작업이 필요함. 특징 플러그인 기반 모든 형태의 데이터 처리 성능 - 자체 내장 메모리와 파일 기반 큐 사용 안정성 - 데드 레터 큐
yeji Kim
The organization of information
Organization of recorded information The nature of information 유용성 - data<information<knowledge<understanding<wisdom Organization of information in different contexts Libraries Descriptive cataloging creating a description choosing access point ensuring authority control Subjective cataloging conceptual analysis - aboutness. translation - aboutness → controlled subject language choosing controlled vocabulary terms choosing classification notations Retrieval tools The basic retrieval tools, their formats, and their functions Bibliographies list of resources Catalogs individual items within collections of information resources Indexes
yeji Kim
인지 부하 디자인
정보 시각화와 지식 시각화 정보 시각화 - 이해를 돕기 위해 지식 시각화 - 통찰력 전달, 새로운 지식 단위 생성 Hick의 법칙 선택 사항 최소화 복잡한 작업 단계 나누기 권장 옵션 강조 점진적인 보드 추상화 지점을 단순화 X 적절한 선택을 적시에 제공. https://tammist.tistory.com/46