목차 LangCahin <-> Redis 1) 설치 2) 테스트 내용 LangCahin <-> Redis 이전 메시지의 맥락을 유지해야 할 필요가 있어서 LangCahin과 Redis를 이용해서 Chat Message History를 기록하는 것이 있어서 테스트해봤다. Re...

목차 Retriever 1) Sparse Retriever 2) Dense Retriever Vector Store Retriver Retriever Retriever는 벡터 저장소에서 사용자가 입력한 질문을 벡터화 → 유사도 검색 → 상위 문서 선정 → 문서 반환하여 문서를 검색하는 과정을...

목차 VectorStore 1) VectorStore 종류 2) VectorStore 선택 과정 3) VectorStore Indexing FAISS 1) FAISS 생성 2) FAISS 삽입 및 삭제 3) FAISS 저장 및 호출 ...

목차 Embedding 1) Embedding 모델 종류 2) OpenAI Embedding 사용하는 방법 3) Cache Embedding Embedding 임베딩이란 텍스트, 소리, 이미지 등의 데이터를 고정 길이의 실수 형태의 벡터로 표현하는 것을 의미합니다. 벡터 값들간의 거...

목차 Splitter 1) Splitter 종류 2) Splitter 테스트 3) Splitter 평가 및 결론 Splitter 문서를 Load 한 것을 바로 사용하지 않고 Split 단계를 거쳐 작은 단위인 chunk로 나누는 이유는 크게 2가지입니다. LLM 모델 입력 토큰의...

목차 Loader 1) Loader 종류 2) Loader 선택 과정 3) Loader 테스트 코드 4) Loader 평가 및 결론 Loader Load 단계가 중요한 이유는 쓰레기를 넣으면 쓰레기가 나온다(Garbage-In Garbage-Out)와 맞닿아 있습니다. 잘못...

목차 RediSearch란? RediSearch 설치 1) Docker 설치 2) source로 build해서 설치 RediSearch란? Redis 데이터베이스의 기능을 확장하는 오픈 소스 모듈로 전체 텍스트 검색과 세컨더리 인덱싱 기능을 제공한다. 이를 통해 Redis에 저장된 데이터를 ...

목차 Airflow DAG 삭제 혹은 중지 1) 중지하는 방법 2) 삭제하는 방법 Airflow DAG 삭제 혹은 중지 이전 글에서처럼 UI가 아니라 Variables를 이용해서 동적으로 DAG을 생성하는 것 뿐만 아니라 삭제 혹은 중지하는 방법도 필요했다. 1) 중지하는 방법 from air...