기록의 공간 :: mightytedkim

우여곡절 끝에 dashboard를 켰다. (SSL, 등등) 그런데 설정값들이 안보이는 화면이 있음 try `ceph orch set backend` 라는 명령어를 치라는데 검색해보니 설정값을 키라는 것 $k exec -it rook-ceph-tools-74bb778c5-qmjhd -n rook-ceph -- /bin/sh sh-4.4$ ceph orch status Error ENOENT: No orchestrator configured (try `ceph orch set backend`) sh-4.4$ ceph mgr module enable rook sh-4.4$ ceph orch set backend rook sh-4.4$ ceph orch status Backend: rook Available: ..

spark thrift server는 관리하기 힘들어서, Trino 공부 thrift 세팅하신 분들은 metastore, mysql 그대로 사용하면 되니까 금방 hello world 할 수 있을거에요 https://github.com/joshuarobinson/trino-on-k8s https://joshua-robinson.medium.com/presto-powered-s3-data-warehouse-on-kubernetes-aea89d2f40e8 결과 $ k get all -n trino NAME READY STATUS RESTARTS AGE pod/trino-cli 1/1 Running 0 35d pod/trino-coordinator-574c748c86-j56pt 1/1 Running 0 35d ..

timezone 변경 default-timzone으로 변경하면 tz 자체가 변경되고 extraEnvVar로 설정하면, system_time_zone이 변경되고, tz이 system을 따라간다는것을 확인함 방법1: default-timezone primary: configuration: |- [mysqld] default-time-zone='+9:00' 방법2: extraEnv로 적용 extraEnvVars: - name: TZ value: "Asia/Seoul" #"UTC" MariaDB [(none)]> show variables like '%time_zone%'; +------------------+--------+ | Variable_name | Value | +------------------+-..

Kubernetes 1.12+ Helm 2.11+ or Helm 3.0-beta3+ PV provisioner support in the underlying infrastructure https://github.com/helm/charts/tree/master/stable/mariadb 결과 $ k get all -n mariadb NAME READY STATUS RESTARTS AGE pod/mariadb-20220222-primary-0 1/1 Running 0 114s pod/mariadb-20220222-secondary-0 1/1 Running 0 114s NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE service/mariadb-20220222-primary ..

+ 후기 회사에서 Kubernetes 구축을 진행했는데, 이 좋은 경험을 내가 다 흡수하지 못한 것 같아 k8s에 대해서 공부해보려고 해요. 가장 유명한 udemy 강의를 선택했고, 결재 전에 sample 강의들을 들어봤고 만족스럽다네여. 이제 구매하고 시작하려고 합니다 ㅎ https://www.udemy.com/course/certified-kubernetes-administrator-with-practice-tests/ 강의 목적: install, configure 강의 방식: 데모로 먼저 익숙해지고, 마지막에 최종 설치 예정 후기: 4.7점, 후기 34,548개, 수강 147,813개 속도: 굳이 빠른 배속 필요 없을 듯 느낀점: 그림으로 엄청 쉽게 k8s의 개념을 설명해줌, 이정도 표현력이면 괜춘..

글또 5,6기를 하니까 2021년이 지나갔어요. 올해 회고글을 글또를 중심으로 풀어볼까해요. 2021년 회고 올 한해는 참 재미있었어요. 하고 싶었던 것 마음껏 했거든요. 전반기에는 회사 제품에 검색엔진을 적용했고, 후반기에는 쿠버네티스를 서버 렉 설치부터 경험해봤어요. 글또 5기를 시작했던 2020년 11월에는 Elasticsearch를 처음 접했어요. 마침 제가 담당하던 제품도 데이터 포털 이어서, 검색엔진을 적용하고 싶었고 생각을 정리하는 연습을 하기 위해 글또5기를 시작했어요. 제품에 검색엔진을 넣으려고 사내 스터디 만들면서 여기저기 기웃거렸는데 8월부터는 아예 오픈소스 팀에 들어갔어요. K8S 밑바닥 부터 내부망에 세팅하는 일을 했어요 그래서 이 포스팅의 제목도 오픈소스로 시작해서, 오픈소스로 ..

한줄요약: cluster로 thrift 를 올리는 정식 방벙은 아직 안나와서, 추후에 trino로 옮겨야할 것 같다. 개요 주제: Spark thrift server를 K8S cluster에 구현해함 문제: Cluster로 Thrift Server를 실행하는 방법이 없음 해결: 'mykidong' 블로그를 통해 예시를 찾음 이 포스팅은 mkidong님의 예시를 각색해서, 오프라인 온프렘 k8s cluster에 적용한 내용이에요 먼저, Spark Thrift Server 가 무엇인지 간단히 설명하고 예제와 함께, 참고한 블로그와 다른점을 기술하도록 할게요 ㅎ thrift server란? spark 에 sql을 날릴 수 있는 Thrift Server 라는게 있어요 daemon 처럼 jdbc 를 날릴 수 있는..

요약 1. kubenetes 환경에서 airflow를 이용해 spark_submit을 함 2. SparkKubernetesOpertor(SKO)를 선택함 개요 상황 쿠버네티스 클러스터 환경에서 spark_submit 관리 필요 후보 (3가지) KubernetePodOperator(KPO) : dag SparkApplication(CRD) : yaml SparkKubernetesOperator(SKO) : yaml + dag 최종 결과 (SKO) command script/scample/sample-sko-spark.yaml dags/sample/sample-sko-spark.py 시행착오 (FYI) SKO) role 권한 때문에 Forbidden 에러 SKO) sensor의 task_id 때문에 에러 S..

Forbidden 에러, clusterrole과 serviceaccount로 해결 clusterrole과 serviceaccount 확인하기 spark 테스트하는 도중 권한 관련 로그를 접했어요 #kubernetes.client.rest.ApiException: (403) #Reason: Forbidden #HTTP response headers: HTTPHeaderDict({'Cache-Control': 'no-cache, private', 'Content-Type': 'application/json', 'X-Content-Type-Options': 'nosniff', 'Date': 'Fri, 19 Nov 2021 06:50:38 GMT', 'Content-Length': '417'}) #HTTP re..

kubernetes에 airflow를 올렸어요 K8s로 airflow 올리기 native에서 테스트할 때는 아래처럼 2개로 테스트했는데 vm1 : scheduler,webserver celery worker1, celery flower vm2 celery worker2 k8s에서 세팅하니까, 이렇게 각각 pod로 생성되더라고요 NAME READY STATUS RESTARTS AGE pod/airflow-flower-6c6b7f5d68-lx4j8 1/1 Running 1 2d16h pod/airflow-postgresql-0 1/1 Running 2 2d16h pod/airflow-redis-0 1/1 Running 0 2d1h pod/airflow-scheduler-884ddd5f6-g2vxt 2/2 R..