기록의 공간 :: mightytedkim

CKA 강의 듣고 따라하기_5장_application lifecycle management + 후기 수강 기간: 20220330~20220402(4일) 1시간 30분짜리 챕터지만 목차상으로는 어려워보이는 것은 없을 것 같음 1. rollout은 히스토리 관리할 수 있어서 좋은듯 2. docker의 cmd, entrypoint 개념 복습해서 좋음 3. configmap, secret 적용하는법 복습 4. initcontainer의 개념 Course content Section 1: Introduction 7 / 7 | 20min : 강의 개요 Section 2: Core Concepts 40 / 40 | 2hr 57min : 기본 오브젝트 설명 Section 3: Scheduling 31 / 31 | 1h..

3/1절 연휴동안 다 들을라했는데, 웹툰보고 놀다가 못함 ㅜㅜ 이번주 평일에 시간을 내야겠음 Section 5: DAG dependencies | 1hr 7min 45. Introduction 1min 1. 파트너A/B/C에게서 데이터를 받는데, 각 파트너마다 dag가 있다고 치자 2. 다 완료되면, 특정 공통된 task를 실행한다. 46. SubDagOperator 11min 복잡한 dag가 있는데, 특정 로직을 공유한다고 치자. 이 때 그룹핑할 수 있고, 시각적으로 명확하게 하는 역할을 한다. 장단점이 있음. 1. 시각화하려고 새로운 dag를 만들어야함 2. 새로운 dag를 또 후출해야하는 불편함이 있음 default_args는 똑같아야함. 부모/자식 간의 설정 dag_id도 명확하게 규정되야함. w..

SECTION 3: The most Common Operator | 1hr 12min 32. Introduction to Providers provider package - 제3자가 제공하는 것을 바로 적용할 수 있음 - 장점 : airflow의 업데이트를 기다릴 필요없음 s3의 경우 amz provider를 설치하면됨 - pip install apache-airflow-providers-amazon 설명은 operator 가이드에 들어가서 보면됨 astronomer의 홈페이지 - https://registry.astronomer.io/ 에서 검색 Provider 설치 예시 - requiremnets.txt airflow-provider-great-expectations==0.0.6 x-airflow-c..