목차 Loader 1) Loader 종류 2) Loader 선택 과정 3) Loader 테스트 코드 4) Loader 평가 및 결론 Loader Load 단계가 중요한 이유는 쓰레기를 넣으면 쓰레기가 나온다(Garbage-In Garbage-Out)와 맞닿아 있습니다. 잘못...

목차 RediSearch란? RediSearch 설치 1) Docker 설치 2) source로 build해서 설치 RediSearch란? Redis 데이터베이스의 기능을 확장하는 오픈 소스 모듈로 전체 텍스트 검색과 세컨더리 인덱싱 기능을 제공한다. 이를 통해 Redis에 저장된 데이터를 ...

목차 Airflow DAG 삭제 혹은 중지 1) 중지하는 방법 2) 삭제하는 방법 Airflow DAG 삭제 혹은 중지 이전 글에서처럼 UI가 아니라 Variables를 이용해서 동적으로 DAG을 생성하는 것 뿐만 아니라 삭제 혹은 중지하는 방법도 필요했다. 1) 중지하는 방법 from air...

목차 Airflow 동적으로 DAG 생성 1) 동적 DAG 생성 코드 Airflow 동적으로 DAG 생성 지난 글에서 설정한 Variable을 이용해서 동적으로 DAG을 생성하려고 합니다. 1) 동적 DAG 생성 코드 from datetime import datetime, timedelta from ai...

목차 Playwright? 1) 설치 방법 2) 간단한 구현 테스트 Playwright? Playwright는 Microsoft에서 만든 웹 브라우저 테스트 및 웹 스크래핑을 위한 오픈 소스 자동화 라이브러리이다. 개발실의 다른 인원이 Selenium으로 만든 웹 크롤링하는 프로젝트에서 크롤링이...

목차 Airflow Variable 1) Variable 설정(UI) 2) Variable 설정(Code) 3) Variable 사용 Airflow Variable Airflow에서 Variable을 설정하는 방법에 대해 알아보도록 하겠습니다. Variable은 전역적으로 사용할 수 ...

목차 Celery Airflow Retry 1) 재시도 2) 일정 시간 이후 강제 종료되기 3) 이전 DAG이 실패했을 때 다음 DAG 실행 여부 설정하기 4) DAG이 재시도하거나 실패했을때 이메일 받는 방법 Celery Airflow Retry airflow는 DAG을 ...

목차 Celery Airflow 1) airflow 데이터베이스 초기화 2) airflow 관리자 계정 생성 3) airflow. cfg 설정하기 4) airflow 실행 5) airflow dag 생성 Celery Airflow Airflow Celery Exe...