기록의 공간 :: mightytedkim

K8S에 Trino를 올리고, 오픈 전 테스트 진행을 하고 있었어요. 요약trino이용해서 mysql insert하는데 `could not create connection`나옴.알고보니, k8s worker 중 1개 방화벽 설정을실수함문제최근에, Spark Thrift Server를 이용해 진행하던 data pipeline 작업을 Trino로 이전하고 있습니다. (hive metatstore로 s3의 parquet를 읽고, mysql에 insert하는 작업) 빠른 테스트를 위해서 trino-worker를 3개로 설정했었고, 문제 없다는 것도 확인했죠. 그런데 trino-worker 9개로 늘리고 퇴근을 했더니 Airflow에서 에러를 마구 뱉습니다. Select는 되는데, Insert할 때만 에러를 뱉더..

요약 1. disk 용량이 꽉참 2. mysql binary 때문이었음 3. 삭제하고, 저장 주기 조정함 설명 1. disk 용량이 꽉참 2. mysql binary 때문이었음 ls -al | grep mysql total 14916268 drwxrwsr-x 11 1001 1001 4096 Apr 25 04:24 . drwxrwsrwx 4 root 1001 4096 Dec 6 09:26 .. drwxrws--- 2 1001 1001 4096 Dec 6 09:26 mysql -rw-rw---- 1 1001 1001 1453 Dec 6 09:26 mysql-bin.000001 -rw-rw---- 1 1001 1001 509183729 Dec 14 05:59 mysql-bin.000002 -rw-rw---- ..

Kubernetes 1.12+ Helm 2.11+ or Helm 3.0-beta3+ PV provisioner support in the underlying infrastructure https://github.com/helm/charts/tree/master/stable/mariadb 결과 $ k get all -n mariadb NAME READY STATUS RESTARTS AGE pod/mariadb-20220222-primary-0 1/1 Running 0 114s pod/mariadb-20220222-secondary-0 1/1 Running 0 114s NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE service/mariadb-20220222-primary ..

한줄요약: cluster로 thrift 를 올리는 정식 방벙은 아직 안나와서, 추후에 trino로 옮겨야할 것 같다. 개요 주제: Spark thrift server를 K8S cluster에 구현해함 문제: Cluster로 Thrift Server를 실행하는 방법이 없음 해결: 'mykidong' 블로그를 통해 예시를 찾음 이 포스팅은 mkidong님의 예시를 각색해서, 오프라인 온프렘 k8s cluster에 적용한 내용이에요 먼저, Spark Thrift Server 가 무엇인지 간단히 설명하고 예제와 함께, 참고한 블로그와 다른점을 기술하도록 할게요 ㅎ thrift server란? spark 에 sql을 날릴 수 있는 Thrift Server 라는게 있어요 daemon 처럼 jdbc 를 날릴 수 있는..