목차 VectorStore 1) VectorStore 종류 2) VectorStore 선택 과정 3) VectorStore Indexing FAISS 1) FAISS 생성 2) FAISS 삽입 및 삭제 3) FAISS 저장 및 호출 ...

목차 Embedding 1) Embedding 모델 종류 2) OpenAI Embedding 사용하는 방법 3) Cache Embedding Embedding 임베딩이란 텍스트, 소리, 이미지 등의 데이터를 고정 길이의 실수 형태의 벡터로 표현하는 것을 의미합니다. 벡터 값들간의 거...

목차 Splitter 1) Splitter 종류 2) Splitter 테스트 3) Splitter 평가 및 결론 Splitter 문서를 Load 한 것을 바로 사용하지 않고 Split 단계를 거쳐 작은 단위인 chunk로 나누는 이유는 크게 2가지입니다. LLM 모델 입력 토큰의...

목차 Loader 1) Loader 종류 2) Loader 선택 과정 3) Loader 테스트 코드 4) Loader 평가 및 결론 Loader Load 단계가 중요한 이유는 쓰레기를 넣으면 쓰레기가 나온다(Garbage-In Garbage-Out)와 맞닿아 있습니다. 잘못...

목차 RediSearch란? RediSearch 설치 1) Docker 설치 2) source로 build해서 설치 RediSearch란? Redis 데이터베이스의 기능을 확장하는 오픈 소스 모듈로 전체 텍스트 검색과 세컨더리 인덱싱 기능을 제공한다. 이를 통해 Redis에 저장된 데이터를 ...

목차 Airflow DAG 삭제 혹은 중지 1) 중지하는 방법 2) 삭제하는 방법 Airflow DAG 삭제 혹은 중지 이전 글에서처럼 UI가 아니라 Variables를 이용해서 동적으로 DAG을 생성하는 것 뿐만 아니라 삭제 혹은 중지하는 방법도 필요했다. 1) 중지하는 방법 from air...

목차 Airflow 동적으로 DAG 생성 1) 동적 DAG 생성 코드 Airflow 동적으로 DAG 생성 지난 글에서 설정한 Variable을 이용해서 동적으로 DAG을 생성하려고 합니다. 1) 동적 DAG 생성 코드 from datetime import datetime, timedelta from ai...

목차 Playwright? 1) 설치 방법 2) 간단한 구현 테스트 Playwright? Playwright는 Microsoft에서 만든 웹 브라우저 테스트 및 웹 스크래핑을 위한 오픈 소스 자동화 라이브러리이다. 개발실의 다른 인원이 Selenium으로 만든 웹 크롤링하는 프로젝트에서 크롤링이...