'데이터 엔지니어'로 성장하기

정리하는 걸 좋아하고, 남이 읽으면 더 좋아함

Data/Jupyterhub 3

Jupyterhub) k8s 1.27에서 helm 에러 수정_bug

쿠버 버전을 업그레이드했다가, 에러가 발생했어요. 공식 github에서도 2일전에 bug라는 issue가 등록되었더라고요 요약 1. k8s 1.27에서 pod spawning이 안됨 2. 공식 인정 버그였음 3. image를 변경하고, deprecated된 api를 수정함 환경 - helm chart 3.0.0 - k8s v1.27.0 (기존에는 1.24) 에러 v1beta1.CSIStorageCapacity 관련 에러 - Failed to watch *v1beta1.CSIStorageCapacity: failed to list *v1beta1.CSIStorageCapacity: W0530 17:41:37.219051 1 reflector.go:324] k8s.io/client-go/informers/f..

Data/Jupyterhub 2023.06.11

Jupyterhub) notebook이미지 설정하기_profileList

1. notebook image 설정 이제 notebook image를 수정해줌 $ config.yaml # singleuser relates to the configuration of KubeSpawner which runs in the hub # pod, and its spawning of user pods such as jupyter-myusername. singleuser: image: name: private-repo.***/library/jupyter/pyspark-notebook tag: latest #name: private-repo.***/library/jupyterhub/k8s-singleuser-sample #tag: "1.2.0-20211123" pullPolicy: Always p..

Data/Jupyterhub 2022.03.29

Jupyterhub) Helm 설치_hub-db-dir 에러 해결

한줄 요약: helm으로 따라했는데 버그였음. 그런데 다시해보니 재현이 안됨 요약 k8s에 jupyterhub를 설치함 hub 컨테이너 pvc 매핑 문제 발생 설명 1. k8s에 jupyterhub를 설치함 공식문서에 나온대로 따라하면 됨 helm repo add jupyterhub https://jupyterhub.github.io/helm-chart/ helm repo update helm upgrade --cleanup-on-fail \ --install jupyterhub private-reop/jupyterhub \ --namespace jhub \ --create-namespace \ --version=1.20 \ --values config.yaml hub, user-scheduler 실행이..

Data/Jupyterhub 2022.03.29