기록의 공간 :: mightytedkim

당장 kafka 코드를 짤일은 없어서, 빠르게 kafka인강을 들었어요 지금 몰라도 될 것 같은 부분은 빠르게 스킵했습니다. --- Kafka 인강) Apache Kafka Series - Learn Apache Kafka for Beginners v2_udemy https://www.udemy.com/course/apache-kafka/learn/lecture/11566808#overview 강사는 Stephane Maearek. 프랑스 출신인 것 같고, kafka, aws에 엄청 핫한 강사에요. 수강평이 2.2만개 ㅋㅋㅋㅋㅋ 역시 믿음의 유데미 가격도 할인해서 1.4만원 뿐이 안했어요 ​ 7시간 32분인데, 보통 3배 정도 더 걸리더라고요. 요즘 바쁜 시기니까 1달 정도 잡을라고요 ​ 19 secti..

3/1절 연휴동안 다 들을라했는데, 웹툰보고 놀다가 못함 ㅜㅜ 이번주 평일에 시간을 내야겠음 Section 5: DAG dependencies | 1hr 7min 45. Introduction 1min 1. 파트너A/B/C에게서 데이터를 받는데, 각 파트너마다 dag가 있다고 치자 2. 다 완료되면, 특정 공통된 task를 실행한다. 46. SubDagOperator 11min 복잡한 dag가 있는데, 특정 로직을 공유한다고 치자. 이 때 그룹핑할 수 있고, 시각적으로 명확하게 하는 역할을 한다. 장단점이 있음. 1. 시각화하려고 새로운 dag를 만들어야함 2. 새로운 dag를 또 후출해야하는 불편함이 있음 default_args는 똑같아야함. 부모/자식 간의 설정 dag_id도 명확하게 규정되야함. w..