728x90
반응형
spark ui를 jupyterhub에서 접근이 안되서 골머리를 썩는중
검색하다가 겨우 방법을 찾음
jupyterhub 접속 경로: http://10.***.29.***:30011/user/manager
| spark_session = SparkSession \ .builder.appName(APP_NAME) \ .master("k8s://https://172.17.***.**:6443") \ .config('spark.ui.proxyBase', '/user/manager/proxy/4040') \ |
jupyterhub spark UI 접속 경로: http://10.***.29.***:30011/user/manager/proxy/4040/environment/
성공!
물론 pip install로 proxy 관련 설정이 있어야해요
jupyter-server-proxy==3.2.0+ executor가 안나옴. 버그임.
https://github.com/apache/spark/pull/30523
source에서 수정해야함, 테스트는 안해봄.
다시 spark 말아서 적용하기에는 너무 큰 작업이라. executor 모니터링은 grafana로 할 예정
spark UI로 kill 할 수 있는게 어디임ㅎㅎ. 안그러면 한참 찾아야하는데
- 파일 2개, 4군데
https://github.com/apache/spark/pull/30523/commits/346b007aaa9f0fe5b47f2c02b6021198eeb5ee9f
728x90
반응형
'Data > Spark' 카테고리의 다른 글
| Spark) createOrReplaceTempView (0) | 2023.03.27 |
|---|---|
| Spark) parquet file merge하기 (0) | 2022.07.09 |
| Spark) spark_submit시 spark.app.id warning_ jupyterhub (0) | 2022.03.24 |
| Spark) spark volume data spill 이슈_spark-local-dir (0) | 2022.03.21 |
| Spark) Thrift serverHive-Metastore OOM 해결_메모리 추가할당 (0) | 2022.01.10 |