기록의 공간 :: mightytedkim

spark image를 만드는 법과 VM,내부망안에서 제가 겪은 경험을 공유하려 해요 별거 아니지만 처음에 할 때는 너무 막막했었어요 ㅎ 글을 구조는 아래와 같아요 1. 상황 spark image를 만들기 VM, 내부망에서 build 실패 2. 해결 spark-3.1.2-bin-hadoop3.2/kubernetes/Dockerfile Sources.list 주석 HTTP_PROXY, HTTPS_PROXY 설정 kubernetes/dockerfiles/spark/bindings/python/Dockerfile pypi.org를 신뢰할 수 있는 host HTTP_PROXY, HTTPS_PROXY 설정 1. 상황 spark image를 만들기 spark를 실행하는 base image를 만들 때 인프라 상황이 ..

이전 게시물에서는 kuberenetes 없이 python으로 minio의 결과를 확인해봤어요 Kubernetes) How to run Spark with Minio in Kubernetes_1 회사에서 minio, spark, kuberenetes를 사용하게 되면서 유투브에서 좋은 자료를 찾아 따라했어요 유투브는 크게 2가지로 나누어지는데 이 게시물에서는 1번만 따라했어요. 1. minio > pyenv > spark-submit 로 mightytedkim.tistory.com 이 포스팅에서는 kubernetes pod 안에서 minio의 결과를 호출하는지 확인해봤어요 유투브는 크게 2가지로 나누어지는데 이 게시물에서는 sparkoperator를 따라했어요. 1. minio on spark: minio ..