기록의 공간 :: mightytedkim

쿠버 버전을 업그레이드했다가, 에러가 발생했어요. 공식 github에서도 2일전에 bug라는 issue가 등록되었더라고요 요약 1. k8s 1.27에서 pod spawning이 안됨 2. 공식 인정 버그였음 3. image를 변경하고, deprecated된 api를 수정함 환경 - helm chart 3.0.0 - k8s v1.27.0 (기존에는 1.24) 에러 v1beta1.CSIStorageCapacity 관련 에러 - Failed to watch *v1beta1.CSIStorageCapacity: failed to list *v1beta1.CSIStorageCapacity: W0530 17:41:37.219051 1 reflector.go:324] k8s.io/client-go/informers/f..

IP로 데이터에 접근하다보니, 불안해서 host명으로 수정했어요 k8s에서 작업하시는 분들께 도움이 되었으면 합니다 :) 요약 문제 : IP로 데이터 접근하니, 보안 리스크가 생김 상황 : spark image, jupyterhub, airflow 에 적용가능함 조치 : IP를 host명으로 대체함 결론 : 보안 리스크 줄이고, cluster 관리가 편해짐 설명 1. 문제 data에 IP로 접근해서 생길 수 있는 보안 이슈 발견 k8s cluster를 여러개 관리하다보니까, IP가 이제 꼬이기 시작했어요. 보안 이슈도 있었지만, 곧 신규 cluster 구축이 예정되어있어서 미리 변경하고 싶었어요 제가 편해야 시스템도 안정적으로 변하니까요ㅎ 2. 상황 일단 3가지 먼저, spark image/ jupyte..

mlflow를 설치하고 hello world를 실행해봤어요 모델러 입장에서는 git처럼 이력 관리를 할 수 있고, 엔지니어 입장에서는 api를 특정 시점으로 변경할 수 있어서 좋은 것 같아요 제가 생각한 장점은 일단 쉽고 이뻐요 - UI 가 이쁘다. - 모델간의 비교가 가능하다. - 모델 정보를 s3에 저장할 수 있다. (pickle, source, parameter, etc) 요약 1. k8s에 mlflow 설치 2. juptyterhub로 테스트 3. airflow로 테스트 4. 결론 설명 1. k8s에 mlflow 설치 mlflow-pgsql.yaml mlflow-pvc.yaml mlflow.yaml https://mightytedkim.tistory.com/55 2. juptyterhub로 테스트..

1. notebook image 설정 이제 notebook image를 수정해줌 $ config.yaml # singleuser relates to the configuration of KubeSpawner which runs in the hub # pod, and its spawning of user pods such as jupyter-myusername. singleuser: image: name: private-repo.***/library/jupyter/pyspark-notebook tag: latest #name: private-repo.***/library/jupyterhub/k8s-singleuser-sample #tag: "1.2.0-20211123" pullPolicy: Always p..

한줄 요약: helm으로 따라했는데 버그였음. 그런데 다시해보니 재현이 안됨 요약 k8s에 jupyterhub를 설치함 hub 컨테이너 pvc 매핑 문제 발생 설명 1. k8s에 jupyterhub를 설치함 공식문서에 나온대로 따라하면 됨 helm repo add jupyterhub https://jupyterhub.github.io/helm-chart/ helm repo update helm upgrade --cleanup-on-fail \ --install jupyterhub private-reop/jupyterhub \ --namespace jhub \ --create-namespace \ --version=1.20 \ --values config.yaml hub, user-scheduler 실행이..