airflow) dag clear 하지 않고 특정 시점부터 재시작하기

airflow 돌리다보면 다시 dag를 실행해야할 때가 있어요

dag clear가 멱등성 원칙을 지켜진다면 최고지만

그렇지 않거나, history를 남겨야할 때는 어떡할가요

 

cli에서 dag clear와 dag backfill 명령어로 실행할 수 잇어요

 

airflow tasks clear test-d-del-log-dag --start-date 2023-02-24 --end-date 2023-02-26
airflow dags backfill test-batch-d-del-log-dag --start-date 2023-02-24 --end-date 2023-02-26

 

첫번째 tasks clear는 해당 날짜 범위사이를 clear 해줘요. ui 상에서는 하얀색으로 변하게 되겠죠

그럼 그 날짜를 토대로 backfill 하면 다시 실행이됩니다

 

clear하지 않고 backfill 하게 되면, 이미 dag가 완료기 때문에 backfil로 trigger만 되고 지나쳐요

 

특정 부분만 다시 실행시키고 싶은 분께 도움이 되었으면 좋겟네요