Python 병렬 프로그래밍 - (4) pp (Parallel Python)
목차 pp란? pp 사용하는 방법 pp란? pp는 pprint의 내용인 줄 알았는데 Parallel Python에서 제공하는 라이브러리였다. 설치는 pip으로 할 수 없고 zip 파일을 풀어서 python setup.py install로 설치를 해야한다. 그렇게 설치를 하면 아래와 같은 경고가 발생한다. DEPRECATION: Loa...
목차 pp란? pp 사용하는 방법 pp란? pp는 pprint의 내용인 줄 알았는데 Parallel Python에서 제공하는 라이브러리였다. 설치는 pip으로 할 수 없고 zip 파일을 풀어서 python setup.py install로 설치를 해야한다. 그렇게 설치를 하면 아래와 같은 경고가 발생한다. DEPRECATION: Loa...
목차 NVIDIA 그래픽 카드 확인 Pytorch 버전 확인 및 설치 CUDA 설치 cuDNN 설치 환경 변수 등록 GPU 사용 확인 오류 수정 NVIDIA 그래픽 카드 확인 터미널에 nvidia-smi를 입력한다. Sun Aug 25 23:10:10 2024 +------------------------...
목차 joblib이란? backend 옵션 1) loky 2) threading 3) multiprocessing 4) dask 5) ray joblib이란? joblib은 python에서 데이터 처리 및 모델 저장과 로드를 위해 주로 사용되는 라이브러리로 대...
목차 process란? process 장,단점 1) 장점 2) 단점 process 상태 정의 multiprocessing 모듈 사용하는 방법 ProcessPoolExecutor 사용하는 방법 process란? 프로세스는 실행 중인 프로그램의 인스턴스로, 운영 체제에서 프로그램이 실...
목차 thread란? thread 장,단점 1) 장점 2) 단점 thread 종류 1) 커널 수준 Thread(Kernel-Level Thread) 2) 사용자 수준 Thread(User-Level Thtread) 3) Hybrid Thread ...
목차 Celery Configuration 1) enable_utc 2) timezone 3) broker_connection_retry_on_startup 4) task_time_limit 5) task_soft_time_limit 6) result_backend ...
목차 Celery Multiple Worker Celery Multiple Queue Celery Multiple Worker 다수의 Worker를 사용하려면 이전에 /etc/systemd/system/celery.service를 만들었는데 해당 파일을 수정해야 한다. /etc/systemd/system/celery-default.se...
목차 Celery 재시도 Celery 재시도 from celery.exceptions import MaxRetriesExceededError, WorkerShutdown, WorkerLostError @celery.task(bind=True, max_retries=5, acks_late=True) def some_task(self, pa...