'데이터 엔지니어'로 성장하기

정리하는 걸 좋아하고, 남이 읽으면 더 좋아함

기타 63

xen) vg not available 해결_reboot,vgchange -ay,k8s

한줄 요약: 서버 리붓하고 osd가 Init:CrashLoopBackOff 나서 내 마음도 함께 박살남 요약 1. vm 으로 구성되어 있는 cluster에 memory 를 늘리는 과정서 node들을 재시작함 2. 6개 클러스터를 한번에 재시작함 3. osd가 다시 살아나지 않음 4. vgchange -ay로 logical volume을 활성화시킴 설명 1. vm 으로 구성되어 있는 cluster에 memory 를 늘리는 과정서 node들을 재시작함 jupyterhub 설치하고 notebook 이미지 변경하다가, insufficient 메모리 에러가 나옴 vm cluster 메모리 할당을 늘림 2. 6개 클러스터를 한번에 재시작함 여기까지는 평화로웠음 3. osd가 다시 살아나지 않음 망함. osd 올라가..

기타/Xen 2022.03.29

udemy)CKA 강의 듣고 따라하기_4장_Logging,Monitoring:: mightytedkim

CKA 강의 듣고 따라하기_4장_Logging,Monitoring + 후기 수강기간: 20220329 (1일) 그라파나로 온갖 노가다로 만든 대시보드가 기억난다. 13분이면 정말 기본만 다룰 것 같아서 약간 아쉽다 역시 metrics-sever부분만 살짝 다룬다. log도 단순 명령어를 보여줌. 굳이 챕터를 나눴어야했나 싶음 79. Logging and Monitoring Section Introduction 1min > 개요 설명 80. Download Presentation Deck 1min > 문서 공유 81. Monitor Cluster Components 4min > metrics-server 는 따로 설치해야된다고 알려줌 상태를 확인해야하기 위해서는 cpu, memory 를 확인할 솔루션이 필..

기타/K8S 2022.03.29

udemy)CKA 강의 듣고 따라하기_3장_scheduling :: mightytedkim

CKA 강의 듣고 따라하기_3장_scheduling 이번 장은 scheduling 부분 예전 부터 궁금했던 부분이라 재밌을 것 같음 ㅎㅎ + 후기 수강기간 : 20220326-27(2일) 몰랐던 개념들을 공부하기 시작! node affinity, taint, tolerations,daemonset,scheduler 등등 특히 node에 할당하는 tain/toleration, nodeaffinity 사용만하고 왜 필요한지 몰랐던 daemonset 잘보지않았떤 scheduler를 더 깊이 볼 수 있어서 의미있었다 주말은 없어졌지만, 재미있닼 Section 3: Scheduling 2 / 31 | 1hr 50min 48. Scheduling Section Introduction 1min 49. Download..

기타/K8S 2022.03.26

udemy)CKA 강의 듣고 따라하기_2장_핵심개념 :: mightytedkim

+ 후기 기간 : 20220322 ~ 20220326 (5일) 이번 챕터는 문제만 풀고 넘어가도 괜찮았을 것 같다. 특별히 모르는 개념은 없었지만, 그래도 복습한다는 기분이 느껴져서 좋았다 ㅎ 10 ~ 18 - master, worker, control_plane, scheudler, etcd, kube-apiserver 등을 하나씩 알려줘서 좋음 - 설치할 대 따라하기만 했는데, 개념을 알고 다시 보니까 이해도가 높아졌다. 20 ~ 46 - 복습한다는 느낌으로 봤는데, 명령어들에 익숙한 사람들이면 스킵해도 될 것 같다. 나는 아래 정보들을 얻어서 좋았다. - label selector matchlabel - replicacontroller vs replicaset -> replicaset이 최신 - s..

기타/K8S 2022.03.26

udemy)CKA 강의 듣고 따라하기_1장 :: mightytedkim

+ 후기 수강기간: 20220322 40분 구조 설명 부분이 기똥차다. 컨테이너 선박에 비유하면서 이야기해주는데 이정도 정성의 강의면 들을 가치가 충분하다고 생각한다. introduction은 어떻게 진행될건지 설명만 하고 있어서, 가볍게 들었다ㅎ Introduction 7 lectures • 20min 1. Course Introduction Preview 09:50 강의 소개 > 전체적인 개요를 설명해줌. 엄청 많음..= 1. core concepts - cluster architecture: 구성 - api primitives: pod, replicaset, ns 같은 것 복습 - services & other network primitives: 나머지 MASTER: manage, plan, sch..

기타/K8S 2022.03.22

Kubernetes) prometheus-statefulset 삭제 안됨 이슈_prom-operator

가끔 pod,pvc,ns 등이 제대로 지워지지 않을때가 있다. pod는 --force로 지우면 되고 ns는 curl로 지우면 된다. pvc는 finalization을 주석하면 된다. 근데 prometheus 테스트할때, statefulset은 아무리 지워도 안지워진다. $ kubectl delete statefulsets prometheus-prometheus -n monitoring --force --grace-period=0 --cascade=false 이렇게 지원도 자꾸 살아난다. https://stackoverflow.com/questions/45965247/cant-delete-a-stateful-set-in-kubernetes Can't delete a Stateful Set in Kubern..

기타/K8S 2022.03.16

Kubernetes) Prometheus emptydir disk full_초기화

개발 서버가 storage가 너무 부족하다 필요없는 파일을 마구 지워도 부족하다. 무엇이 문제일까. 며칠뒤에 다시 와보니 또 부족하다. $ df -h /var/lib/ 100% 보니까 /var/lib/kubelet이 대부분을 먹고 있다. $ du -h --max-deph=1 /var/lib 자세히 들어가보니, 하나의 폴더가 192G다. 대충 empty-dir 안잡고 pod 돌린 거라고 추정 $ du -h --max-deph=1 /var/lib/kubelet/pods/ /var/lib/kubelet/pods/e2164860-fe59-4520-a79e-de7ca32f302f/volumes/kubernetes.io~empty-dir/prometheus-storage-volume: 더 들어가본다. prometh..

기타/K8S 2022.03.16

기타)코테 준비 시작

운좋게 코딩테스트 없이 입사했지만 항상 찜찜하게 날 답답하게 하던 부분이 코딩 테스트였다 현업에서는 복잡한 코드를 짤일이 거의 없고 구글이 있기 때문에 코드를 읽고 붙여넣기를 할 수 있었지만 매일 조금씩 알고리즘 공부하는 내용을 정리할 예정이다. 이것이 코딩테스트다 with 파이썬 (나동빈) 을 이용할 생각이고 1달안에 1독을 하는 것을 목표로 하고 있다. 코딩 테스트 개요 환경 온라인: https://replit.com/languages/python3 복잡도 시간 : 연산의 횟수 공간 : 메모리의 양 메모 시간 복잡도 표현할 때 Big-O 표기법 사용, O(1) O(N2) 대부분 list 사용해서 풀게됨 시간 측정 import time 가독성을 해치치 않는 선에서 최대한 복잡도가 낮게 프로그램 작성 ..

기타 2022.03.05

youtube)카일 스쿨 데이터 엔지니어 직군 소개

글또장이신 카일님의 카일 스쿨 유투브 보고 메모 최근하고 있는 고민들을 너무 잘 정리해주셔서 재미있게 앉은 자리에서 3개를 다 봤어요, [카일데이] 요즘 데이터 분석가의 현실, 데이터 분석 직군의 세분화 트렌드 https://www.youtube.com/watch?v=mzOWMax9Sxc 경계가 명확하지 않은 직군들에 대한 카일님의 생각을 알 수 있었고, 그림과 함께라서 이해하기 더 좋았음 1. 직군의 구체화 - 데이터 조직이 생기기 시작함 - 데이터 리터러시 중요성 대두 2. 진입 장벽 낮아짐 - cloud -> hadoop, spark의 러닝커브를 낮춤 3. 직군 - 제품(앱,웹) -> product analyst - 예측 모델 -> data scientist - 데이터 분석가, 데이터 엔지니어 --..

기타 2022.02.21

Kubernetes)helm 설치

한줄요약: helm chart 없는 K8s는 상상할 수 없어요 spring의 pom.xml 같다고 할까나 - 링크 https://helm.sh/ko/docs/intro/install/ 1. 원하는 버전을 다운로드한다. 2. 압축해제한다. (tar -zxvf helm-v3.0.0-linux-amd64.tar.gz) 3. 압축해제된 디렉토리에서 helm 바이너리를 찾아서, 원하는 목적지로 이동시킨다. (mv linux-amd64/helm /usr/local/bin/helm) - helm version version.BuildInfo{Version:"v3.7.1", GitCommit:"1d11fcb5d3f3bf00dbe6fe31b8412839a96b3dc4", GitTreeState:"clean", GoVer..

기타/K8S 2022.02.21