기획서 - 개발 일지 - 아무튼-작업일지

Steamlit, faiss

업로드한 파일 목록 보기와 파일 뷰어는 있어야 할 듯. faiss에 잘 저장했는지 파일 전처리. 글자 읽어오기, 안되면 ocr하기 ... open ai 응답 잘 받아지는지 open ai api 사용 방법 정리하기 파일 목록, 뷰어 만들기. 얘는 그냥 일단 하면 될 듯! 각 요소들 모듈화만 잘 해두기 ... streamlit이 진짜 편하다. 노션식 디자인은 왤케 편할까? 픽셀... 크기 어쩌구 보다가 이거 쓰니까 너무 편해서 ... 진자 ... 자료의 벡터화 단위 ... streamlit run app.py --server.enableXsrfProtection false

yeji KimSep 11

Langchain으로 RAG 구현하기

Fine-tuning - PEFT, QLoRa 더 발전된 모델인 Fusion-in-Decoder(FiD)나 Atlas를 고려하기 키워드 검색과 벡터 검색을 함께 사용하기 Vector DB 대신 Knowledge Graph를 사용하기 Python langchain chunk_size chunk_overlap splitter = CharacterTextSplitter.from_tiktoken_encoder( separator="\n", chunk_size=500, chunk_overlap=50 ) docs = data_loader.load_and_split(text_splitter=splitter) embeddings = OpenAIEmbeddings() cached_embeddings = CacheBackedEmbeddings.from_bytes_store(embeddings, cache_dir) 과정 Raw data → connecting Connecting → embedding Embedding Vector DB Retrieval

yeji KimSep 5

database

정규화 신경쓰기 (1NF, 2NF, 3NF, BCNF) db create CREATE TABLE subjects ( subjectId INT PRIMARY KEY AUTO_INCREMENT, subjectName VARCHAR(255) NOT NULL, description TEXT, grade INT NOT NULL, semester INT NOT NULL ); CREATE TABLE professors ( professorId INT PRIMARY KEY AUTO_INCREMENT, professorName VARCHAR(255) NOT NULL, email VARCHAR(255), department VARCHAR(255) ); CREATE TABLE topics ( topicId INT PRIMARY KEY AUTO_INCREMENT, subjectId INT, topicTitle VARCHAR(255) NOT NULL, topicOrder INT NOT NULL, description TEXT, FOREIGN KEY (subjectId) REFERENCES subjects(subjectId) ); CREATE TABLE subtopics ( subtopicId INT PRIMARY KEY AUTO_INCREMENT, topicId INT, subtopicTitle VARCHAR(255) NOT NULL, subtopicOrder INT NOT NULL, description TEXT, FOREIGN KEY (topicId) REFERENCES topics(topicId) ); CREATE TABLE detailedTopics ( detailedTopicId INT PRIMARY KEY AUTO_INCREMENT, subtopicId INT, detailedTopicTitle VARCHAR(255) NOT NULL, detailedTopicOrder INT NOT NULL, description TEXT, FOREIGN KEY (subtopicId) REFERENCES subtopics(subtopicId) ); CREATE TABLE detailedTopicProfessorMapping ( mappingId INT PRIMARY KEY AUTO_INCREMENT, detailedTopicId INT, professorId INT, year YEAR, FOREIGN KEY (detailedTopicId) REFERENCES detailedTopics(detailedTopicId), FOREIGN KEY (professorId) REFERENCES professors(professorId) ); CREATE TABLE lectureNotes ( lectureNoteId INT PRIMARY KEY AUTO_INCREMENT, title VARCHAR(255) NOT NULL, version VARCHAR(50), year YEAR, isCurrent BOOLEAN DEFAULT 1, uploadDate DATE, filePath VARCHAR(255), notes TEXT ); CREATE TABLE lectureSlides ( slideId INT PRIMARY KEY AUTO_INCREMENT, lectureNoteId INT, detailedTopicId INT, slideNumber INT NOT NULL, slideTitle VARCHAR(255), slideContent TEXT, imagePath VARCHAR(255), pdfPage INT, pdfCoordinates VARCHAR(255), tableData TEXT, notes TEXT, FOREIGN KEY (lectureNoteId) REFERENCES lectureNotes(lectureNoteId), FOREIGN KEY (detailedTopicId) REFERENCES detailedTopics(detailedTopicId) ); CREATE TABLE textbooks ( textbookId INT PRIMARY KEY AUTO_INCREMENT, textbookTitle VARCHAR(255) NOT NULL, author VARCHAR(255), version VARCHAR(50) NOT NULL, publicationYear YEAR NOT NULL, isCurrent BOOLEAN DEFAULT 1, filePath VARCHAR(255) );