기록의 공간 :: mightytedkim

가끔 pod,pvc,ns 등이 제대로 지워지지 않을때가 있다. pod는 --force로 지우면 되고 ns는 curl로 지우면 된다. pvc는 finalization을 주석하면 된다. 근데 prometheus 테스트할때, statefulset은 아무리 지워도 안지워진다. $ kubectl delete statefulsets prometheus-prometheus -n monitoring --force --grace-period=0 --cascade=false 이렇게 지원도 자꾸 살아난다. https://stackoverflow.com/questions/45965247/cant-delete-a-stateful-set-in-kubernetes Can't delete a Stateful Set in Kubern..

개발 서버가 storage가 너무 부족하다 필요없는 파일을 마구 지워도 부족하다. 무엇이 문제일까. 며칠뒤에 다시 와보니 또 부족하다. $ df -h /var/lib/ 100% 보니까 /var/lib/kubelet이 대부분을 먹고 있다. $ du -h --max-deph=1 /var/lib 자세히 들어가보니, 하나의 폴더가 192G다. 대충 empty-dir 안잡고 pod 돌린 거라고 추정 $ du -h --max-deph=1 /var/lib/kubelet/pods/ /var/lib/kubelet/pods/e2164860-fe59-4520-a79e-de7ca32f302f/volumes/kubernetes.io~empty-dir/prometheus-storage-volume: 더 들어가본다. prometh..

평화로운 어느날 sparkKubernetesOperator가 미쳐 날뛰기 시작했다. 분명 10분정도면 끝나는 spark job인데, 30분이 넘게 걸려서 뒤의 작업과 겹쳐버렸다. (내 잘못ㅜ) grafana 보니까, spark-driver가 여러개 띄어져 있고 executor는 더 난리. 혹시 몰라 grafana에 대시보드 spark 용으로 만들어둬서 다행 spark thrift server ui를 보니까, 0.1초면 끝나는 작업이 hang 걸려있고 난리도 난리가 아니었다. schedule_interval="0 4 * * * " -> 10분이면 끝나는 작업 schedule_interval="30 4 * * * " -> 30분 넘게 걸려서 다른 작업과 겹침 줄줄이 비엔나로 겹침 쨋든 문제는 발견해서 다행 ..

우여곡절 끝에 dashboard를 켰다. (SSL, 등등) 그런데 설정값들이 안보이는 화면이 있음 try `ceph orch set backend` 라는 명령어를 치라는데 검색해보니 설정값을 키라는 것 $k exec -it rook-ceph-tools-74bb778c5-qmjhd -n rook-ceph -- /bin/sh sh-4.4$ ceph orch status Error ENOENT: No orchestrator configured (try `ceph orch set backend`) sh-4.4$ ceph mgr module enable rook sh-4.4$ ceph orch set backend rook sh-4.4$ ceph orch status Backend: rook Available: ..

rook-ceph k8s에 올려서 dashboard 보려고하는데 안됨 1. connection reset by peer -> ssl 설정 해제 vi cluster.yaml dashboard: enabled: true # serve the dashboard under a subpath (useful when you are accessing the dashboard via a reverse proxy) #urlPrefix: /ceph-dashboard # serve the dashboard at the given port. port: 8443 # serve the dashboard using SSL #ssl: true ssl: false $ k apply -f cluster.yaml 2. url 접근은 지만..

3/1절 연휴동안 다 들을라했는데, 웹툰보고 놀다가 못함 ㅜㅜ 이번주 평일에 시간을 내야겠음 Section 5: DAG dependencies | 1hr 7min 45. Introduction 1min 1. 파트너A/B/C에게서 데이터를 받는데, 각 파트너마다 dag가 있다고 치자 2. 다 완료되면, 특정 공통된 task를 실행한다. 46. SubDagOperator 11min 복잡한 dag가 있는데, 특정 로직을 공유한다고 치자. 이 때 그룹핑할 수 있고, 시각적으로 명확하게 하는 역할을 한다. 장단점이 있음. 1. 시각화하려고 새로운 dag를 만들어야함 2. 새로운 dag를 또 후출해야하는 불편함이 있음 default_args는 똑같아야함. 부모/자식 간의 설정 dag_id도 명확하게 규정되야함. w..

spark thrift server는 관리하기 힘들어서, Trino 공부 thrift 세팅하신 분들은 metastore, mysql 그대로 사용하면 되니까 금방 hello world 할 수 있을거에요 https://github.com/joshuarobinson/trino-on-k8s https://joshua-robinson.medium.com/presto-powered-s3-data-warehouse-on-kubernetes-aea89d2f40e8 결과 $ k get all -n trino NAME READY STATUS RESTARTS AGE pod/trino-cli 1/1 Running 0 35d pod/trino-coordinator-574c748c86-j56pt 1/1 Running 0 35d ..

timezone 변경 default-timzone으로 변경하면 tz 자체가 변경되고 extraEnvVar로 설정하면, system_time_zone이 변경되고, tz이 system을 따라간다는것을 확인함 방법1: default-timezone primary: configuration: |- [mysqld] default-time-zone='+9:00' 방법2: extraEnv로 적용 extraEnvVars: - name: TZ value: "Asia/Seoul" #"UTC" MariaDB [(none)]> show variables like '%time_zone%'; +------------------+--------+ | Variable_name | Value | +------------------+-..

Kubernetes 1.12+ Helm 2.11+ or Helm 3.0-beta3+ PV provisioner support in the underlying infrastructure https://github.com/helm/charts/tree/master/stable/mariadb 결과 $ k get all -n mariadb NAME READY STATUS RESTARTS AGE pod/mariadb-20220222-primary-0 1/1 Running 0 114s pod/mariadb-20220222-secondary-0 1/1 Running 0 114s NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE service/mariadb-20220222-primary ..

SECTION 3: The most Common Operator | 1hr 12min 32. Introduction to Providers provider package - 제3자가 제공하는 것을 바로 적용할 수 있음 - 장점 : airflow의 업데이트를 기다릴 필요없음 s3의 경우 amz provider를 설치하면됨 - pip install apache-airflow-providers-amazon 설명은 operator 가이드에 들어가서 보면됨 astronomer의 홈페이지 - https://registry.astronomer.io/ 에서 검색 Provider 설치 예시 - requiremnets.txt airflow-provider-great-expectations==0.0.6 x-airflow-c..