기록의 공간 :: mightytedkim

버전 : airflow-1.2.0.tgz 링크 : https://airflow.apache.org/docs/helm-chart/stable/index.html 결과 $k get all -n airflow NAME READY STATUS RESTARTS AGE pod/airflow-postgresql-0 1/1 Running 0 28d pod/airflow-scheduler-88588ff5c-9cr2x 3/3 Running 0 6d17h pod/airflow-statsd-5df44cb959-h64bn 1/1 Running 0 28d pod/airflow-webserver-ffc95467d-s6gx9 1/1 Running 0 17d NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) A..

한줄요약: helm chart 없는 K8s는 상상할 수 없어요 spring의 pom.xml 같다고 할까나 - 링크 https://helm.sh/ko/docs/intro/install/ 1. 원하는 버전을 다운로드한다. 2. 압축해제한다. (tar -zxvf helm-v3.0.0-linux-amd64.tar.gz) 3. 압축해제된 디렉토리에서 helm 바이너리를 찾아서, 원하는 목적지로 이동시킨다. (mv linux-amd64/helm /usr/local/bin/helm) - helm version version.BuildInfo{Version:"v3.7.1", GitCommit:"1d11fcb5d3f3bf00dbe6fe31b8412839a96b3dc4", GitTreeState:"clean", GoVer..

나도 클라우드 사용하고 싶음 ㅜㅜmc가 object storage 조회, 관리하는 가장 편한 방법 같아서 설치했음크기도 별로 안되고, 파일만 다운받으면되서 엄청 편함 - 링크https://docs.min.io/docs/minio-client-quickstart-guide$ sudo yum install wget -y; $ sudo wget https://dl.min.io/client/mc/release/linux-amd64/mc; $ sudo cp mc /usr/local/bin; $ sudo chmod +x /usr/local/bin/mc;$ mc --help$ mc alias set ceph http://10.***.35.32:30071 access-key secret-key$ ..

https://www.udemy.com/course/apache-airflow-the-operators-guide/learn/lecture/21553710?start=0#overview kubernetes Pod Operator 공부할 때 참고했던 사람의 강의였기 때문에 신뢰가 감 ETL파이프 라인을 실무에서 세팅하는 방법을 급하게 알아야하기 때문에 좋음 심지어 버전도 2.x임, 회사에서 2.1.4사용하고 있어서 너무 좋음 총 7시간이고 해당 포스트는 1,2 섹션 메모용 Section 1: Introduction 5/5 10min 1. Important Prerequisites 2min specific operator에 대해서 배우는 강의 airflow 기본에 대해서 알고 있어야함 2. Install D..

갑자기 월요일 아침에 확인해보니 airflow job들이 일부 죽어잇음, 일단 request/limit 수정함 상황 - 왜그런가하고 봣는데, Thrift Server 사용하는 job들만 죽음 - 에러 로그는 err_msg = java.sql.SQLException: Error running query: org.apache.thrift.transport.TTransportException - hive meta store Pod를 보니까 pool, OOM Exception in thread "pool-7-thread-921" java.lang.OutOfMemoryError: GC overhead limit exceeded 문제 hivemetastore 메모리 부족 해결 metastore.yaml을 수정함, ..

+ 후기 회사에서 Kubernetes 구축을 진행했는데, 이 좋은 경험을 내가 다 흡수하지 못한 것 같아 k8s에 대해서 공부해보려고 해요. 가장 유명한 udemy 강의를 선택했고, 결재 전에 sample 강의들을 들어봤고 만족스럽다네여. 이제 구매하고 시작하려고 합니다 ㅎ https://www.udemy.com/course/certified-kubernetes-administrator-with-practice-tests/ 강의 목적: install, configure 강의 방식: 데모로 먼저 익숙해지고, 마지막에 최종 설치 예정 후기: 4.7점, 후기 34,548개, 수강 147,813개 속도: 굳이 빠른 배속 필요 없을 듯 느낀점: 그림으로 엄청 쉽게 k8s의 개념을 설명해줌, 이정도 표현력이면 괜춘..

글또 5,6기를 하니까 2021년이 지나갔어요. 올해 회고글을 글또를 중심으로 풀어볼까해요. 2021년 회고 올 한해는 참 재미있었어요. 하고 싶었던 것 마음껏 했거든요. 전반기에는 회사 제품에 검색엔진을 적용했고, 후반기에는 쿠버네티스를 서버 렉 설치부터 경험해봤어요. 글또 5기를 시작했던 2020년 11월에는 Elasticsearch를 처음 접했어요. 마침 제가 담당하던 제품도 데이터 포털 이어서, 검색엔진을 적용하고 싶었고 생각을 정리하는 연습을 하기 위해 글또5기를 시작했어요. 제품에 검색엔진을 넣으려고 사내 스터디 만들면서 여기저기 기웃거렸는데 8월부터는 아예 오픈소스 팀에 들어갔어요. K8S 밑바닥 부터 내부망에 세팅하는 일을 했어요 그래서 이 포스팅의 제목도 오픈소스로 시작해서, 오픈소스로 ..

한줄요약: cluster로 thrift 를 올리는 정식 방벙은 아직 안나와서, 추후에 trino로 옮겨야할 것 같다. 개요 주제: Spark thrift server를 K8S cluster에 구현해함 문제: Cluster로 Thrift Server를 실행하는 방법이 없음 해결: 'mykidong' 블로그를 통해 예시를 찾음 이 포스팅은 mkidong님의 예시를 각색해서, 오프라인 온프렘 k8s cluster에 적용한 내용이에요 먼저, Spark Thrift Server 가 무엇인지 간단히 설명하고 예제와 함께, 참고한 블로그와 다른점을 기술하도록 할게요 ㅎ thrift server란? spark 에 sql을 날릴 수 있는 Thrift Server 라는게 있어요 daemon 처럼 jdbc 를 날릴 수 있는..

airflow Api 설정 켜기_helm as is [api] auth_backend = airflow.api.auth.backend.deny_all to be [api] auth_backend = airflow.api.auth.backend.basic_auth (helm)에 수정 config: api: #auth_backend: airflow.api.auth.backend.deny_all auth_backend: airflow.api.auth.backend.basic_auth 테스트 curl --user ":" -X 'POST' \ 'http://:/api/v1/dags/sample_hello_world_dag/dagRuns' \ -H 'accept: application/json' \ -H 'Cont..

내가 자주 사용해서 메모용 NAMESPACE=my-mariadb-operator-app kubectl proxy & kubectl get namespace $NAMESPACE -o json |jq '.spec = {"finalizers":[]}' >temp.json kubectl replace --raw "/api/v1/namespaces/$NAMESPACE/finalize" -f ./temp.json 출처 : https://stackoverflow.com/questions/52369247/namespace-stuck-as-terminating-how-i-removed-it Namespace "stuck" as Terminating, How I removed it I've had a "stuck" nam..