기록의 공간 :: mightytedkim

k8s dashboard를 제공하기는 해야하는데, 읽기 권한만 부여하고 싶을 때가 있어요. 예를 들어, spark on k8s 환경의 경우 분석가 분들이 pod의 memory/cpu 사용량을 봐야할 때가 있겠네요. 사용량이나 로그를 봐야지 executor와 memory를 늘릴지 말지 판단할 수 있기 때문이에요. 제가 참고한 코드는 fabianlee의 블로그에요 https://fabianlee.org/2022/08/05/kubernetes-accessing-the-kubernetes-dashboard-with-least-privilege/ Kubernetes: accessing the Kubernetes Dashboard with least privilege | Fabian Lee : Software En..

kafka cluster를 만들기 위해서는 zookeeper cluster 생성이 필요해요 zookeeper를 걷어낸다고는 하지만 아직 한참 남은 것 같아요 예상 독자 zookeeper cluster 설정하려고 하는 분 미래의 나 요약 zookeepr 다운로드 설정 변경 실행/중지 설명 1. zookeepr 다운로드 다운로드 받아서 압축 풀기: https://zookeeper.apache.org/releases.html bin conf 폴더 안의 파일을 수정하고 zookeeper_data는 자동 생성 $ wget https://dlcdn.apache.org/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz $ ls /home/manager/apac..

udemy)CKA 강의 듣고 따라하기_6장_cluster mng + 후기 수강 기간: 20220402-0406(5일) (수강 전) 실제 온프렘에서 k8s cluster를 운영하고 있기 때문에 재미있을 것 같다 ㅎㅎ 생각보다 빡시다. 하지만 언제 이런 정보 얻겠나 싶어서 재미있게 들음 (수강 후) 마침 etcdctl 관련 이슈가 있어서, 정보가 필요했는데 이 강의를 들어서 이해되기 시작했다. 여러번 돌려들을 정도로 꼼꼼하게 들었고 지금까지 강의 중에서 제일 재미있었다. - master, worker 업그레이드하는 과정에서 drain, cordon, uncordon - etcdctl snapshot save, restore Section 6: Cluster Maintenance | 1hr 11min 115...

요약 cluster의 disk 사용량이 39-55%까지 차이남 rebalancing을 함 오차 범위 1%로 리밸런싱 완료 설명 1. cluster의 disk 사용량이 39-55%까지 sudo -u hdfs hdfs balancer [-policy (policy)] [-threshold ] [-blockpools (comma-separated list of blockpool ids)] [-include [-f (hosts-file) | (comma-separated list of hosts)]] [-exclude [-f (hosts-file) | (comma-separated list of hosts)]] [-idleiterations (idleiterations)] [-runDurin..

한줄요약: cluster로 thrift 를 올리는 정식 방벙은 아직 안나와서, 추후에 trino로 옮겨야할 것 같다. 개요 주제: Spark thrift server를 K8S cluster에 구현해함 문제: Cluster로 Thrift Server를 실행하는 방법이 없음 해결: 'mykidong' 블로그를 통해 예시를 찾음 이 포스팅은 mkidong님의 예시를 각색해서, 오프라인 온프렘 k8s cluster에 적용한 내용이에요 먼저, Spark Thrift Server 가 무엇인지 간단히 설명하고 예제와 함께, 참고한 블로그와 다른점을 기술하도록 할게요 ㅎ thrift server란? spark 에 sql을 날릴 수 있는 Thrift Server 라는게 있어요 daemon 처럼 jdbc 를 날릴 수 있는..

Forbidden 에러, clusterrole과 serviceaccount로 해결 clusterrole과 serviceaccount 확인하기 spark 테스트하는 도중 권한 관련 로그를 접했어요 #kubernetes.client.rest.ApiException: (403) #Reason: Forbidden #HTTP response headers: HTTPHeaderDict({'Cache-Control': 'no-cache, private', 'Content-Type': 'application/json', 'X-Content-Type-Options': 'nosniff', 'Date': 'Fri, 19 Nov 2021 06:50:38 GMT', 'Content-Length': '417'}) #HTTP re..