기록의 공간 :: mightytedkim

평화로운 오후 갑자기, 회사 K8S가 이상하다는 연락이 옵니다회사 서버실에 있는 쿠버네티스나는 1년 동안 들어가본적이 없는 쿠버네티스하지만 내가 살려야하는 쿠버네티스 돌이켜보면 별거 없지만, 클러스터 되살린 과정을 적어보려고 합니다. 예상 독자는 아래와 같습니다1. k8s 리소스 정리가 필요한 분2. worker disk pressure, memory 부족이 발생하는 분3. k8s 이슈 발생시, 확인환경은 아래와 같습니다.1. 온프렘2. master 3, worker 33. k8s 1.30 /// ubuntu 22.04 (스포) 를 원하시면 아래 [더 보기]를 눌러주세요더보기[상황 파악]  1. 무슨 이유에서 인지, ceph에서 문제 발생  (ceph core 덤프 파일이 /var/lib/rook-cep..

회사에서 최근 원격 협업 시스템 POC를 진행하고 있어요 Hololens2, Quest3, TCL 등의 AR glass를 이용해서, 원격으로 협업할 수 있는 샘플 프로젝트를 만들어야해요. 너무 막막한 상황 속에서... 구글링하다가 도움을 받은 논문을 정리해보려고 해요. 인천대학교에서 작성한 것으로, 건설 현장에서의 원격 협업 시스템 개발에 대해 이야기를 해요. 먼저 GPT가 요약한 내용을 보고, 제가 인사이트를 얻은 부분에 대해서 정리하려고 합니다. # 논문 요약 (GPT) 이 연구는 혼합 현실(Mixed Reality, MR)을 기반으로 한 건설 현장 관리를 위한 원격 협업 시스템 개발에 관한 것입니다. 건축 정보 모델링(BIM)의 데이터 호환성을 활용하고, MR 기술을 통해 실세계 객체 위에 3D 가..

업무에 쿠버네티스를 많이 사용하고 있는데, 알고 있는 것을 점검하고자 자격증을 공부했어요 인강은 작년에 Udemy를 들엇지만, 1년짜리 유효기간이 시험이라 끝까지 미루다가 얼마전에 시험을 쳤어요 ㅎ 예상 독자는 다음과 같습니다. CKA 시험을 치려고 고민하시는 분 읽고 얻으실 수 있는건 아래와 같아요 시험을 쳐야할지 말아야지 결정에 필요한 정보 1. 쿠버네티스 자격증이란? Linux foundation에서 제공하는 여러 자격들 중 하나에요 CKAD, CKA, CKS 등이 있어요 2. 공부 전 알아야하는 내용 시험을 치는 이유 ( 지식 습득 > 취업 스펙 ) 많은 사람들이 UDEMY에서 인강 듣고, 그냥 치면 딸 수 있는 시험이라고 해요. 그래서 쉬워 보이는데 생각보다 준비기간이 오래 걸립니다. 쿠버네티..

지난 포스팅에서는 Docker in Docker를 이용해서 image를 빌드했어요. 그런데 굳이 Image 빌드만 하면되는데 docker를 사용해야할까요? 예상 독자는 아래와 같습니다. Image 빌드에 굳이 Docker를 쓰고 싶지 않으신 분 보안에 취약한 Docker in Docker를 사용하고 싶지 않으신 분 Kaniko가 궁금하신 분 목차 내용 1. Kaniko란? 홈페이지: https://github.com/GoogleContainerTools/kaniko 한줄 요약: kaniko is a tool to build container images from a Dockerfile, inside a container or Kubernetes cluster. image: gcr.io/kaniko-pro..

항상 Docker build는 Jenkins나 Git Action을 사용해왔어요. 그런데 권한 이슈 때문에 이걸 사용하지 못하는 상황을 마주쳤습니다. Docker In Docker로 이 상황을 어떻게 우회했는지 정리해보았습니다 예상 독자는 아래와 같습니다. Docker In Docker 가 궁금하신 분 Docker Out of Docker를 사용 못하시는 분 K8S 엔진으로 cri-o를 사용하시는 분 목차 상황 설명 문제 해결 참고 내용 상황 설명 Server의 Docker 사용이 안됨 (보안상의 이유로) Docker out of Docker는 docker.sock 권한 이슈로 사용 못함 Image는 Build하고 repository에 Push 해야함 Nuclio의 nuctl의 경우 default가 do..

k8s dashboard를 제공하기는 해야하는데, 읽기 권한만 부여하고 싶을 때가 있어요. 예를 들어, spark on k8s 환경의 경우 분석가 분들이 pod의 memory/cpu 사용량을 봐야할 때가 있겠네요. 사용량이나 로그를 봐야지 executor와 memory를 늘릴지 말지 판단할 수 있기 때문이에요. 제가 참고한 코드는 fabianlee의 블로그에요 https://fabianlee.org/2022/08/05/kubernetes-accessing-the-kubernetes-dashboard-with-least-privilege/ Kubernetes: accessing the Kubernetes Dashboard with least privilege | Fabian Lee : Software En..

어쩔때는 잘 올라오는데 어쩔때는 not ready고 쿠버는 참 재미진 것 같아요.. 매번 믿지만, 가끔 뒤통수 맞아서 비슷한 사례가 있을 때마다 여기에 추가하려고요 (대단한건 없고 메모용입니다) server 의 경우 서버에서는 대부분의 문제가 kubelet, docker(containerd)가 실행되지 않아서 생기더라고요 그래서 아래 명령어들을 확인합니다. systemctl status kubelet systemctl status docker #systemctl status containerd 예시 [root@k8sworker3 ~]# systemctl status kubelet ● kubelet.service - kubelet: The Kubernetes Node Agent Loaded: loaded ..

쿠버네스티는 설치할 때마다 새로워요. hw가 문제일 때도 있고, kernel 버전이 안 맞을 때도 있죠 하지만 대부분의 절망 포인트는 네트워크 더라고요... pod안에서 외부 dns 접근 못하던 문제를 어떻게 우회해서 해결했는지 정리했습니다 예상 독자는 다음과 같아요 온프렘 환경에서 고군분투 쿠버를 설치하시는 분들 네트워크 잘 모르는데 쿠버 설치하시는 분들 저를 불쌍히 여기실 수 있는 분들 문제: pod 안에서 dns 를 찾지 못함 이번에는 새로운 네트워크 망에 k8s cluster를 설치하는 작업을 했어요 그런데 이상하게 서버 몇대가, 회사 DNS에 접근을 잘 못하더라고요. 12대 중 2대가 접근이 되지 않아서 /etc/hosts에 특정 host를 명시해줬어요 불안한 마음에 k8s 설치하고 busybo..

온프렘 쿠버 세팅하고 1년 정도 지나니까 인증서 갱신 문제가 발생하더라고요 문제가 발생하면 먼저 인증서 상태를 확인해줍니다. $ kubeadm certs check-expiration [check-expiration] Reading configuration from the cluster... [check-expiration] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -o yaml' [check-expiration] Error reading configuration from the Cluster. Falling back to default configuration CERTIFICATE EX..

심볼릭 링크 작업이 필요한데, 권한은 특정 사용자로 한정해야하는 일이 있었어요 그런데 ln -s에는 chown이 안먹히더라고요. 그래서 검색하던 중 bind를 찾앗어요 예상 독자 - 심볼링 링크에 권한 부여해야하는 분 목차 1. 왜 심볼릭 링크에 권한 관리가 필요했는가? 2. bind를 이용해 어떻게 해결했는가? + ftp로 상위 폴더 못가게 하기 1. 왜 심볼릭 링크에 권한 관리가 필요했는가? `ftp로 업로드하면, nginx로 다운로드하고 싶다` 는 요청이 들어왔어요 아래처럼 계획을 세분화했어요 1. adminftp/userftp를 만든다. 2. admin 은 저장/삭제가 가능하다. 3. user는 저장만 가능하다(수정 불가) 4. *ssh 접근을 못하게 막는다. 5. ftp 상위 폴더 접근을 못하게..