'데이터 엔지니어'로 성장하기

정리하는 걸 좋아하고, 남이 읽으면 더 좋아함

기타/K8S 35

udemy)CKA 강의 듣고 따라하기_2장_핵심개념 :: mightytedkim

+ 후기 기간 : 20220322 ~ 20220326 (5일) 이번 챕터는 문제만 풀고 넘어가도 괜찮았을 것 같다. 특별히 모르는 개념은 없었지만, 그래도 복습한다는 기분이 느껴져서 좋았다 ㅎ 10 ~ 18 - master, worker, control_plane, scheudler, etcd, kube-apiserver 등을 하나씩 알려줘서 좋음 - 설치할 대 따라하기만 했는데, 개념을 알고 다시 보니까 이해도가 높아졌다. 20 ~ 46 - 복습한다는 느낌으로 봤는데, 명령어들에 익숙한 사람들이면 스킵해도 될 것 같다. 나는 아래 정보들을 얻어서 좋았다. - label selector matchlabel - replicacontroller vs replicaset -> replicaset이 최신 - s..

기타/K8S 2022.03.26

udemy)CKA 강의 듣고 따라하기_1장 :: mightytedkim

+ 후기 수강기간: 20220322 40분 구조 설명 부분이 기똥차다. 컨테이너 선박에 비유하면서 이야기해주는데 이정도 정성의 강의면 들을 가치가 충분하다고 생각한다. introduction은 어떻게 진행될건지 설명만 하고 있어서, 가볍게 들었다ㅎ Introduction 7 lectures • 20min 1. Course Introduction Preview 09:50 강의 소개 > 전체적인 개요를 설명해줌. 엄청 많음..= 1. core concepts - cluster architecture: 구성 - api primitives: pod, replicaset, ns 같은 것 복습 - services & other network primitives: 나머지 MASTER: manage, plan, sch..

기타/K8S 2022.03.22

Kubernetes) prometheus-statefulset 삭제 안됨 이슈_prom-operator

가끔 pod,pvc,ns 등이 제대로 지워지지 않을때가 있다. pod는 --force로 지우면 되고 ns는 curl로 지우면 된다. pvc는 finalization을 주석하면 된다. 근데 prometheus 테스트할때, statefulset은 아무리 지워도 안지워진다. $ kubectl delete statefulsets prometheus-prometheus -n monitoring --force --grace-period=0 --cascade=false 이렇게 지원도 자꾸 살아난다. https://stackoverflow.com/questions/45965247/cant-delete-a-stateful-set-in-kubernetes Can't delete a Stateful Set in Kubern..

기타/K8S 2022.03.16

Kubernetes) Prometheus emptydir disk full_초기화

개발 서버가 storage가 너무 부족하다 필요없는 파일을 마구 지워도 부족하다. 무엇이 문제일까. 며칠뒤에 다시 와보니 또 부족하다. $ df -h /var/lib/ 100% 보니까 /var/lib/kubelet이 대부분을 먹고 있다. $ du -h --max-deph=1 /var/lib 자세히 들어가보니, 하나의 폴더가 192G다. 대충 empty-dir 안잡고 pod 돌린 거라고 추정 $ du -h --max-deph=1 /var/lib/kubelet/pods/ /var/lib/kubelet/pods/e2164860-fe59-4520-a79e-de7ca32f302f/volumes/kubernetes.io~empty-dir/prometheus-storage-volume: 더 들어가본다. prometh..

기타/K8S 2022.03.16

Kubernetes)helm 설치

한줄요약: helm chart 없는 K8s는 상상할 수 없어요 spring의 pom.xml 같다고 할까나 - 링크 https://helm.sh/ko/docs/intro/install/ 1. 원하는 버전을 다운로드한다. 2. 압축해제한다. (tar -zxvf helm-v3.0.0-linux-amd64.tar.gz) 3. 압축해제된 디렉토리에서 helm 바이너리를 찾아서, 원하는 목적지로 이동시킨다. (mv linux-amd64/helm /usr/local/bin/helm) - helm version version.BuildInfo{Version:"v3.7.1", GitCommit:"1d11fcb5d3f3bf00dbe6fe31b8412839a96b3dc4", GitTreeState:"clean", GoVer..

기타/K8S 2022.02.21

udemy) CKA강의 듣고 따라하기_sample :: migthytedkim

+ 후기 회사에서 Kubernetes 구축을 진행했는데, 이 좋은 경험을 내가 다 흡수하지 못한 것 같아 k8s에 대해서 공부해보려고 해요. 가장 유명한 udemy 강의를 선택했고, 결재 전에 sample 강의들을 들어봤고 만족스럽다네여. 이제 구매하고 시작하려고 합니다 ㅎ https://www.udemy.com/course/certified-kubernetes-administrator-with-practice-tests/ 강의 목적: install, configure 강의 방식: 데모로 먼저 익숙해지고, 마지막에 최종 설치 예정 후기: 4.7점, 후기 34,548개, 수강 147,813개 속도: 굳이 빠른 배속 필요 없을 듯 느낀점: 그림으로 엄청 쉽게 k8s의 개념을 설명해줌, 이정도 표현력이면 괜춘..

기타/K8S 2022.01.03

Kubernetes) Forbidden User 보는 방법_role,sa

Forbidden 에러, clusterrole과 serviceaccount로 해결 clusterrole과 serviceaccount 확인하기 spark 테스트하는 도중 권한 관련 로그를 접했어요 #kubernetes.client.rest.ApiException: (403) #Reason: Forbidden #HTTP response headers: HTTPHeaderDict({'Cache-Control': 'no-cache, private', 'Content-Type': 'application/json', 'X-Content-Type-Options': 'nosniff', 'Date': 'Fri, 19 Nov 2021 06:50:38 GMT', 'Content-Length': '417'}) #HTTP re..

기타/K8S 2021.11.23

youtube) k8s+spark+minio 실습 따라하기_2 :: mightytedkim

이전 게시물에서는 kuberenetes 없이 python으로 minio의 결과를 확인해봤어요 Kubernetes) How to run Spark with Minio in Kubernetes_1 회사에서 minio, spark, kuberenetes를 사용하게 되면서 유투브에서 좋은 자료를 찾아 따라했어요 유투브는 크게 2가지로 나누어지는데 이 게시물에서는 1번만 따라했어요. 1. minio > pyenv > spark-submit 로 mightytedkim.tistory.com 이 포스팅에서는 kubernetes pod 안에서 minio의 결과를 호출하는지 확인해봤어요 유투브는 크게 2가지로 나누어지는데 이 게시물에서는 sparkoperator를 따라했어요. 1. minio on spark: minio ..

기타/K8S 2021.09.21