Data/Spark
Spark) k8s,jupyterhub에서 sparkUI 사용하기
MightyTedKim
2022. 3. 24. 14:55
728x90
반응형
spark ui를 jupyterhub에서 접근이 안되서 골머리를 썩는중
검색하다가 겨우 방법을 찾음
jupyterhub 접속 경로: http://10.***.29.***:30011/user/manager
spark_session = SparkSession \ .builder.appName(APP_NAME) \ .master("k8s://https://172.17.***.**:6443") \ .config('spark.ui.proxyBase', '/user/manager/proxy/4040') \ |
jupyterhub spark UI 접속 경로: http://10.***.29.***:30011/user/manager/proxy/4040/environment/
성공!
물론 pip install로 proxy 관련 설정이 있어야해요
jupyter-server-proxy==3.2.0
+ executor가 안나옴. 버그임.
https://github.com/apache/spark/pull/30523
source에서 수정해야함, 테스트는 안해봄.
다시 spark 말아서 적용하기에는 너무 큰 작업이라. executor 모니터링은 grafana로 할 예정
spark UI로 kill 할 수 있는게 어디임ㅎㅎ. 안그러면 한참 찾아야하는데
- 파일 2개, 4군데
https://github.com/apache/spark/pull/30523/commits/346b007aaa9f0fe5b47f2c02b6021198eeb5ee9f
728x90
반응형