기록의 공간 :: mightytedkim

airflow 돌리다보면 다시 dag를 실행해야할 때가 있어요 dag clear가 멱등성 원칙을 지켜진다면 최고지만 그렇지 않거나, history를 남겨야할 때는 어떡할가요 cli에서 dag clear와 dag backfill 명령어로 실행할 수 잇어요 airflow tasks clear test-d-del-log-dag --start-date 2023-02-24 --end-date 2023-02-26 airflow dags backfill test-batch-d-del-log-dag --start-date 2023-02-24 --end-date 2023-02-26 첫번째 tasks clear는 해당 날짜 범위사이를 clear 해줘요. ui 상에서는 하얀색으로 변하게 되겠죠 그럼 그 날짜를 토대로 bac..

이번 챕터는 평소 궁금하던 sensor에 대해서 공부할 수 있어서 재미있었어요. + TriggerDagRunOperator의 경우 복잡해서 사용안하려고 했는데, s3 이동 같은 작업은 클래스처럼 정의해서 사용할 수 있다는 이야기를 들어서 유레카였어요 요약 센서 : 특정 조건을 센서에 만족하도록 대기하기 트리거 : 서로 다른 DAG의 태스크간 의존성 설정하기 CLI/API : REST API 를 통해 워크 플로 실행하기 마무리 설명 1. 센서 : 특정 조건을 센서에 만족하도록 대기하기 로그를 당겨오거나, 작업이 언제 끝날지 기다리거나, hive 테이블에 파티션이 있는지 확인하는 작업에 활용 할 수 있어요 Sensor 특정 조건이 참인지 여부를 지속적으로 확인(polling)하는 특수 유형 오퍼레이터 필요한..

내가 자주 사용하는 명령어 # 특정 pod 지우기 kubectl delete pods --field-selector status.phase=Failed -n mlflow kubectl delete pods --field-selector status.phase=Succeeded -n mlflow kubectl delete pods --field-selector status.phase=Pending -n mlflow #과거 replicaset 지우기 kubectl delete replicaset -n jhub $(kubectl get replicaset -n jhub | grep "0 0 0"| cut -d' ' -f 1) #ns 강제로 지우기 kubectl get namespace "rook-ceph" -..