목차 Airflow DAG 삭제 혹은 중지 1) 중지하는 방법 2) 삭제하는 방법 Airflow DAG 삭제 혹은 중지 이전 글에서처럼 UI가 아니라 Variables를 이용해서 동적으로 DAG을 생성하는 것 뿐만 아니라 삭제 혹은 중지하는 방법도 필요했다. 1) 중지하는 방법 from air...

목차 Airflow 동적으로 DAG 생성 1) 동적 DAG 생성 코드 Airflow 동적으로 DAG 생성 지난 글에서 설정한 Variable을 이용해서 동적으로 DAG을 생성하려고 합니다. 1) 동적 DAG 생성 코드 from datetime import datetime, timedelta from ai...

목차 Playwright? 1) 설치 방법 2) 간단한 구현 테스트 Playwright? Playwright는 Microsoft에서 만든 웹 브라우저 테스트 및 웹 스크래핑을 위한 오픈 소스 자동화 라이브러리이다. 개발실의 다른 인원이 Selenium으로 만든 웹 크롤링하는 프로젝트에서 크롤링이...

목차 Airflow Variable 1) Variable 설정(UI) 2) Variable 설정(Code) 3) Variable 사용 Airflow Variable Airflow에서 Variable을 설정하는 방법에 대해 알아보도록 하겠습니다. Variable은 전역적으로 사용할 수 ...

목차 Celery Airflow Retry 1) 재시도 2) 일정 시간 이후 강제 종료되기 3) 이전 DAG이 실패했을 때 다음 DAG 실행 여부 설정하기 4) DAG이 재시도하거나 실패했을때 이메일 받는 방법 Celery Airflow Retry airflow는 DAG을 ...

목차 Celery Airflow 1) airflow 데이터베이스 초기화 2) airflow 관리자 계정 생성 3) airflow. cfg 설정하기 4) airflow 실행 5) airflow dag 생성 Celery Airflow Airflow Celery Exe...

목차 Early Stopping Early Stopping 구현 Early Stopping 학습 과정에서 과적합을 방지하기 위해 학습을 조기에 중단하는 기법을 의미 모델이 일정 횟수 이상 학습을 진행하면서도 검증 성능이 개선되지 않는 경우, 학습을 중담함으로써 불필요한 학습을 방지하고 일반화 성능을 최적화할 수 있음 학습 초기에는 ...

목차 Scaler Scaler 종류와 특징 1) MinMaxScaler 2) MaxAbsScaler 3) StandardScaler 4) RobustScaler Scaler가 모델에 미치는 영향 Scaler 선택 가이드 Scaler 데이터 스케일링은 모델의 학습 ...