'데이터 엔지니어'로 성장하기

정리하는 걸 좋아하고, 남이 읽으면 더 좋아함

기타 62

udemy)CKA 강의 듣고 따라하기_4장_Logging,Monitoring:: mightytedkim

CKA 강의 듣고 따라하기_4장_Logging,Monitoring + 후기 수강기간: 20220329 (1일) 그라파나로 온갖 노가다로 만든 대시보드가 기억난다. 13분이면 정말 기본만 다룰 것 같아서 약간 아쉽다 역시 metrics-sever부분만 살짝 다룬다. log도 단순 명령어를 보여줌. 굳이 챕터를 나눴어야했나 싶음 79. Logging and Monitoring Section Introduction 1min > 개요 설명 80. Download Presentation Deck 1min > 문서 공유 81. Monitor Cluster Components 4min > metrics-server 는 따로 설치해야된다고 알려줌 상태를 확인해야하기 위해서는 cpu, memory 를 확인할 솔루션이 필..

기타/K8S 2022.03.29

udemy)CKA 강의 듣고 따라하기_3장_scheduling :: mightytedkim

CKA 강의 듣고 따라하기_3장_scheduling 이번 장은 scheduling 부분 예전 부터 궁금했던 부분이라 재밌을 것 같음 ㅎㅎ + 후기 수강기간 : 20220326-27(2일) 몰랐던 개념들을 공부하기 시작! node affinity, taint, tolerations,daemonset,scheduler 등등 특히 node에 할당하는 tain/toleration, nodeaffinity 사용만하고 왜 필요한지 몰랐던 daemonset 잘보지않았떤 scheduler를 더 깊이 볼 수 있어서 의미있었다 주말은 없어졌지만, 재미있닼 Section 3: Scheduling 2 / 31 | 1hr 50min 48. Scheduling Section Introduction 1min 49. Download..

기타/K8S 2022.03.26

udemy)CKA 강의 듣고 따라하기_2장_핵심개념 :: mightytedkim

+ 후기 기간 : 20220322 ~ 20220326 (5일) 이번 챕터는 문제만 풀고 넘어가도 괜찮았을 것 같다. 특별히 모르는 개념은 없었지만, 그래도 복습한다는 기분이 느껴져서 좋았다 ㅎ 10 ~ 18 - master, worker, control_plane, scheudler, etcd, kube-apiserver 등을 하나씩 알려줘서 좋음 - 설치할 대 따라하기만 했는데, 개념을 알고 다시 보니까 이해도가 높아졌다. 20 ~ 46 - 복습한다는 느낌으로 봤는데, 명령어들에 익숙한 사람들이면 스킵해도 될 것 같다. 나는 아래 정보들을 얻어서 좋았다. - label selector matchlabel - replicacontroller vs replicaset -> replicaset이 최신 - s..

기타/K8S 2022.03.26

udemy)CKA 강의 듣고 따라하기_1장 :: mightytedkim

+ 후기 수강기간: 20220322 40분 구조 설명 부분이 기똥차다. 컨테이너 선박에 비유하면서 이야기해주는데 이정도 정성의 강의면 들을 가치가 충분하다고 생각한다. introduction은 어떻게 진행될건지 설명만 하고 있어서, 가볍게 들었다ㅎ Introduction 7 lectures • 20min 1. Course Introduction Preview 09:50 강의 소개 > 전체적인 개요를 설명해줌. 엄청 많음..= 1. core concepts - cluster architecture: 구성 - api primitives: pod, replicaset, ns 같은 것 복습 - services & other network primitives: 나머지 MASTER: manage, plan, sch..

기타/K8S 2022.03.22

Kubernetes) prometheus-statefulset 삭제 안됨 이슈_prom-operator

가끔 pod,pvc,ns 등이 제대로 지워지지 않을때가 있다. pod는 --force로 지우면 되고 ns는 curl로 지우면 된다. pvc는 finalization을 주석하면 된다. 근데 prometheus 테스트할때, statefulset은 아무리 지워도 안지워진다. $ kubectl delete statefulsets prometheus-prometheus -n monitoring --force --grace-period=0 --cascade=false 이렇게 지원도 자꾸 살아난다. https://stackoverflow.com/questions/45965247/cant-delete-a-stateful-set-in-kubernetes Can't delete a Stateful Set in Kubern..

기타/K8S 2022.03.16

Kubernetes) Prometheus emptydir disk full_초기화

개발 서버가 storage가 너무 부족하다 필요없는 파일을 마구 지워도 부족하다. 무엇이 문제일까. 며칠뒤에 다시 와보니 또 부족하다. $ df -h /var/lib/ 100% 보니까 /var/lib/kubelet이 대부분을 먹고 있다. $ du -h --max-deph=1 /var/lib 자세히 들어가보니, 하나의 폴더가 192G다. 대충 empty-dir 안잡고 pod 돌린 거라고 추정 $ du -h --max-deph=1 /var/lib/kubelet/pods/ /var/lib/kubelet/pods/e2164860-fe59-4520-a79e-de7ca32f302f/volumes/kubernetes.io~empty-dir/prometheus-storage-volume: 더 들어가본다. prometh..

기타/K8S 2022.03.16

기타)코테 준비 시작

운좋게 코딩테스트 없이 입사했지만 항상 찜찜하게 날 답답하게 하던 부분이 코딩 테스트였다 현업에서는 복잡한 코드를 짤일이 거의 없고 구글이 있기 때문에 코드를 읽고 붙여넣기를 할 수 있었지만 매일 조금씩 알고리즘 공부하는 내용을 정리할 예정이다. 이것이 코딩테스트다 with 파이썬 (나동빈) 을 이용할 생각이고 1달안에 1독을 하는 것을 목표로 하고 있다. 코딩 테스트 개요 환경 온라인: https://replit.com/languages/python3 복잡도 시간 : 연산의 횟수 공간 : 메모리의 양 메모 시간 복잡도 표현할 때 Big-O 표기법 사용, O(1) O(N2) 대부분 list 사용해서 풀게됨 시간 측정 import time 가독성을 해치치 않는 선에서 최대한 복잡도가 낮게 프로그램 작성 ..

기타 2022.03.05

youtube)카일 스쿨 데이터 엔지니어 직군 소개

글또장이신 카일님의 카일 스쿨 유투브 보고 메모 최근하고 있는 고민들을 너무 잘 정리해주셔서 재미있게 앉은 자리에서 3개를 다 봤어요, [카일데이] 요즘 데이터 분석가의 현실, 데이터 분석 직군의 세분화 트렌드 https://www.youtube.com/watch?v=mzOWMax9Sxc 경계가 명확하지 않은 직군들에 대한 카일님의 생각을 알 수 있었고, 그림과 함께라서 이해하기 더 좋았음 1. 직군의 구체화 - 데이터 조직이 생기기 시작함 - 데이터 리터러시 중요성 대두 2. 진입 장벽 낮아짐 - cloud -> hadoop, spark의 러닝커브를 낮춤 3. 직군 - 제품(앱,웹) -> product analyst - 예측 모델 -> data scientist - 데이터 분석가, 데이터 엔지니어 --..

기타 2022.02.21

Kubernetes)helm 설치

한줄요약: helm chart 없는 K8s는 상상할 수 없어요 spring의 pom.xml 같다고 할까나 - 링크 https://helm.sh/ko/docs/intro/install/ 1. 원하는 버전을 다운로드한다. 2. 압축해제한다. (tar -zxvf helm-v3.0.0-linux-amd64.tar.gz) 3. 압축해제된 디렉토리에서 helm 바이너리를 찾아서, 원하는 목적지로 이동시킨다. (mv linux-amd64/helm /usr/local/bin/helm) - helm version version.BuildInfo{Version:"v3.7.1", GitCommit:"1d11fcb5d3f3bf00dbe6fe31b8412839a96b3dc4", GitTreeState:"clean", GoVer..

기타/K8S 2022.02.21

udemy) CKA강의 듣고 따라하기_sample :: migthytedkim

+ 후기 회사에서 Kubernetes 구축을 진행했는데, 이 좋은 경험을 내가 다 흡수하지 못한 것 같아 k8s에 대해서 공부해보려고 해요. 가장 유명한 udemy 강의를 선택했고, 결재 전에 sample 강의들을 들어봤고 만족스럽다네여. 이제 구매하고 시작하려고 합니다 ㅎ https://www.udemy.com/course/certified-kubernetes-administrator-with-practice-tests/ 강의 목적: install, configure 강의 방식: 데모로 먼저 익숙해지고, 마지막에 최종 설치 예정 후기: 4.7점, 후기 34,548개, 수강 147,813개 속도: 굳이 빠른 배속 필요 없을 듯 느낀점: 그림으로 엄청 쉽게 k8s의 개념을 설명해줌, 이정도 표현력이면 괜춘..

기타/K8S 2022.01.03