'데이터 엔지니어'로 성장하기

정리하는 걸 좋아하고, 남이 읽으면 더 좋아함

Udemy 9

udemy)CKA 강의 듣고 따라하기_7장_security :: mightytedkim

udemy)CKA 강의 듣고 따라하기_7장_security + 후기 수강기간 : 0908- (수강 전) 보안 부분은 2시간 20분이나 됨ㅜ 잘 모르는 분야라 무섭기도하고 결국 넘어야할 중요한 부분이라 정신 바짝차리고, 이번주 주말에 완강하는 걸 목표로 해야겠다. 다행히 아주 기초 단계로 설명해준다고 한다. (수강 후) Section 7: Security 0 / 33 | 2hr 21min 132. Security - Section Introduction 2min > 개요 설명 어떻게 사용자가 접근하고, 관리되는지 기본 설정을 예시를 통해 보고, tls certicate 등을 볼 예정 아주 기초부터 볼거기 때문에 많은 시간이 걸리게 구성이됨 133. Download Presentation Deck 1min ..

기타/K8S 2022.04.08

udemy)CKA 강의 듣고 따라하기_6장_cluster mng :: mightytedkim

udemy)CKA 강의 듣고 따라하기_6장_cluster mng + 후기 수강 기간: 20220402-0406(5일) (수강 전) 실제 온프렘에서 k8s cluster를 운영하고 있기 때문에 재미있을 것 같다 ㅎㅎ 생각보다 빡시다. 하지만 언제 이런 정보 얻겠나 싶어서 재미있게 들음 (수강 후) 마침 etcdctl 관련 이슈가 있어서, 정보가 필요했는데 이 강의를 들어서 이해되기 시작했다. 여러번 돌려들을 정도로 꼼꼼하게 들었고 지금까지 강의 중에서 제일 재미있었다. - master, worker 업그레이드하는 과정에서 drain, cordon, uncordon - etcdctl snapshot save, restore Section 6: Cluster Maintenance | 1hr 11min 115...

기타/K8S 2022.04.03

udemy)CKA 강의 듣고 따라하기_5장_lifecycle :: mightytedkim

CKA 강의 듣고 따라하기_5장_application lifecycle management + 후기 수강 기간: 20220330~20220402(4일) 1시간 30분짜리 챕터지만 목차상으로는 어려워보이는 것은 없을 것 같음 1. rollout은 히스토리 관리할 수 있어서 좋은듯 2. docker의 cmd, entrypoint 개념 복습해서 좋음 3. configmap, secret 적용하는법 복습 4. initcontainer의 개념 Course content Section 1: Introduction 7 / 7 | 20min : 강의 개요 Section 2: Core Concepts 40 / 40 | 2hr 57min : 기본 오브젝트 설명 Section 3: Scheduling 31 / 31 | 1h..

기타/K8S 2022.03.31

udemy)CKA 강의 듣고 따라하기_2장_핵심개념 :: mightytedkim

+ 후기 기간 : 20220322 ~ 20220326 (5일) 이번 챕터는 문제만 풀고 넘어가도 괜찮았을 것 같다. 특별히 모르는 개념은 없었지만, 그래도 복습한다는 기분이 느껴져서 좋았다 ㅎ 10 ~ 18 - master, worker, control_plane, scheudler, etcd, kube-apiserver 등을 하나씩 알려줘서 좋음 - 설치할 대 따라하기만 했는데, 개념을 알고 다시 보니까 이해도가 높아졌다. 20 ~ 46 - 복습한다는 느낌으로 봤는데, 명령어들에 익숙한 사람들이면 스킵해도 될 것 같다. 나는 아래 정보들을 얻어서 좋았다. - label selector matchlabel - replicacontroller vs replicaset -> replicaset이 최신 - s..

기타/K8S 2022.03.26

udemy)CKA 강의 듣고 따라하기_1장 :: mightytedkim

+ 후기 수강기간: 20220322 40분 구조 설명 부분이 기똥차다. 컨테이너 선박에 비유하면서 이야기해주는데 이정도 정성의 강의면 들을 가치가 충분하다고 생각한다. introduction은 어떻게 진행될건지 설명만 하고 있어서, 가볍게 들었다ㅎ Introduction 7 lectures • 20min 1. Course Introduction Preview 09:50 강의 소개 > 전체적인 개요를 설명해줌. 엄청 많음..= 1. core concepts - cluster architecture: 구성 - api primitives: pod, replicaset, ns 같은 것 복습 - services & other network primitives: 나머지 MASTER: manage, plan, sch..

기타/K8S 2022.03.22

udemy)Airflow Operators Guide_5,6,7장 :: mightytedkim

3/1절 연휴동안 다 들을라했는데, 웹툰보고 놀다가 못함 ㅜㅜ 이번주 평일에 시간을 내야겠음 Section 5: DAG dependencies | 1hr 7min 45. Introduction 1min 1. 파트너A/B/C에게서 데이터를 받는데, 각 파트너마다 dag가 있다고 치자 2. 다 완료되면, 특정 공통된 task를 실행한다. 46. SubDagOperator 11min 복잡한 dag가 있는데, 특정 로직을 공유한다고 치자. 이 때 그룹핑할 수 있고, 시각적으로 명확하게 하는 역할을 한다. 장단점이 있음. 1. 시각화하려고 새로운 dag를 만들어야함 2. 새로운 dag를 또 후출해야하는 불편함이 있음 default_args는 똑같아야함. 부모/자식 간의 설정 dag_id도 명확하게 규정되야함. w..

Data/Airflow 2022.03.01

udemy)Airflow Operators Guide_3,4장 :: mightytedkim

SECTION 3: The most Common Operator | 1hr 12min 32. Introduction to Providers provider package - 제3자가 제공하는 것을 바로 적용할 수 있음 - 장점 : airflow의 업데이트를 기다릴 필요없음 s3의 경우 amz provider를 설치하면됨 - pip install apache-airflow-providers-amazon 설명은 operator 가이드에 들어가서 보면됨 astronomer의 홈페이지 - https://registry.astronomer.io/ 에서 검색 Provider 설치 예시 - requiremnets.txt airflow-provider-great-expectations==0.0.6 x-airflow-c..

Data/Airflow 2022.02.22

udemy)Airflow Operators Guide_1,2장 :: mightytedkim

https://www.udemy.com/course/apache-airflow-the-operators-guide/learn/lecture/21553710?start=0#overview kubernetes Pod Operator 공부할 때 참고했던 사람의 강의였기 때문에 신뢰가 감 ETL파이프 라인을 실무에서 세팅하는 방법을 급하게 알아야하기 때문에 좋음 심지어 버전도 2.x임, 회사에서 2.1.4사용하고 있어서 너무 좋음 총 7시간이고 해당 포스트는 1,2 섹션 메모용 Section 1: Introduction 5/5 10min 1. Important Prerequisites 2min specific operator에 대해서 배우는 강의 airflow 기본에 대해서 알고 있어야함 2. Install D..

Data/Airflow 2022.01.13

udemy) CKA강의 듣고 따라하기_sample :: migthytedkim

+ 후기 회사에서 Kubernetes 구축을 진행했는데, 이 좋은 경험을 내가 다 흡수하지 못한 것 같아 k8s에 대해서 공부해보려고 해요. 가장 유명한 udemy 강의를 선택했고, 결재 전에 sample 강의들을 들어봤고 만족스럽다네여. 이제 구매하고 시작하려고 합니다 ㅎ https://www.udemy.com/course/certified-kubernetes-administrator-with-practice-tests/ 강의 목적: install, configure 강의 방식: 데모로 먼저 익숙해지고, 마지막에 최종 설치 예정 후기: 4.7점, 후기 34,548개, 수강 147,813개 속도: 굳이 빠른 배속 필요 없을 듯 느낀점: 그림으로 엄청 쉽게 k8s의 개념을 설명해줌, 이정도 표현력이면 괜춘..

기타/K8S 2022.01.03