기록의 공간 :: mightytedkim

kafka cluster를 설정하기 위해서, 이전 포스팅에서 zk와 kafka를 실행했어요 이제 관리를 위해 yahoo에서 만든 kafka manager를 설치해보려합니다. 예상 독자 kafka manager를 설치하려고 하는 분 미래의 나 요약 cmak binary 다운로드 설정 변경 시작/중지 설명 1. cmak binary 다운로드 wget https://github.com/yahoo/CMAK/releases/download/3.0.0.6/cmak-3.0.0.6.zip unzip cmak-3.0.0.6.zip 2. 설정 변경 # conf/application.conf 수정 kafka-manager.zkhosts="kafka1:2181,kafka2:2181,kafka3:2181" cmak.zkhost..

spark ui를 jupyterhub에서 접근이 안되서 골머리를 썩는중 검색하다가 겨우 방법을 찾음 jupyterhub 접속 경로: http://10.***.29.***:30011/user/manager spark_session = SparkSession \ .builder.appName(APP_NAME) \ .master("k8s://https://172.17.***.**:6443") \ .config('spark.ui.proxyBase', '/user/manager/proxy/4040') \ jupyterhub spark UI 접속 경로: http://10.***.29.***:30011/user/manager/proxy/4040/environment/ 성공! 물론 pip install로 proxy 관..