기록의 공간 :: mightytedkim

proxy 설정 때문에 python에서 requests 코드가 돌아가지 않는 상황 발생 ~/.bashrc나 /etc/environment에서 http_proxy, https_proxy를 주석해주면 되지만 나는 코드 내에서 초기화를 하고 싶었어요 방법은 아래와 같아요. 간단하지만 당황하면 생각이 안나서 메모! os.environ['http_proxy'] = "" os.environ['https_proxy'] = "" https://stackoverflow.com/questions/48862492/how-to-reset-system-proxy-in-centos-using-python-code

고정 ip, dns, proxy 설정까지 해서 ping, telnet, ssh가 되는데 curl이 안되더라고요. .curlrc에 noproxy를 추가해서 적용했습니다 예상 독자는 아래와 같아요 1. 네트워크 초보자 2. vm 세팅하시는 분들 상황 상황은 아래와 같았어요 > 정상 $ curl '' localhost:30071 $ curl -x '' 172.17.172.36:30071 $ export http_proxy='' & curl 172.17.172.36:30071 > 비정상 # 계속 http_proxy로 감 $ curl -x '' 172.17.172.36:30071 Rebuilt URL to: 172.17.172.36:30071/ * Trying 168.219.61.252... * TCP_NODEL..

spark ui를 jupyterhub에서 접근이 안되서 골머리를 썩는중 검색하다가 겨우 방법을 찾음 jupyterhub 접속 경로: http://10.***.29.***:30011/user/manager spark_session = SparkSession \ .builder.appName(APP_NAME) \ .master("k8s://https://172.17.***.**:6443") \ .config('spark.ui.proxyBase', '/user/manager/proxy/4040') \ jupyterhub spark UI 접속 경로: http://10.***.29.***:30011/user/manager/proxy/4040/environment/ 성공! 물론 pip install로 proxy 관..

spark image를 만드는 법과 VM,내부망안에서 제가 겪은 경험을 공유하려 해요 별거 아니지만 처음에 할 때는 너무 막막했었어요 ㅎ 글을 구조는 아래와 같아요 1. 상황 spark image를 만들기 VM, 내부망에서 build 실패 2. 해결 spark-3.1.2-bin-hadoop3.2/kubernetes/Dockerfile Sources.list 주석 HTTP_PROXY, HTTPS_PROXY 설정 kubernetes/dockerfiles/spark/bindings/python/Dockerfile pypi.org를 신뢰할 수 있는 host HTTP_PROXY, HTTPS_PROXY 설정 1. 상황 spark image를 만들기 spark를 실행하는 base image를 만들 때 인프라 상황이 ..

kubernetes에 airflow를 올렸어요 K8s로 airflow 올리기 native에서 테스트할 때는 아래처럼 2개로 테스트했는데 vm1 : scheduler,webserver celery worker1, celery flower vm2 celery worker2 k8s에서 세팅하니까, 이렇게 각각 pod로 생성되더라고요 NAME READY STATUS RESTARTS AGE pod/airflow-flower-6c6b7f5d68-lx4j8 1/1 Running 1 2d16h pod/airflow-postgresql-0 1/1 Running 2 2d16h pod/airflow-redis-0 1/1 Running 0 2d1h pod/airflow-scheduler-884ddd5f6-g2vxt 2/2 R..

docker proxy - docker.service에 프록시 설정해줘야함 참고: https://docs.docker.com/network/proxy/ # docker.service 경로 확인할 수 있음 $ sysmtemctl status docker $ vi /usr/lib/systemd/system/docker.service [Service] httpProxy: "http://192.168.1.12:3128, httpsProxy: "http://192.168.1.12:3128", noProxy: *.test.example.com,.example2.com,127.0.0.0/8 $ systemctl daemon-reload $ service docker restart docker insecure regi..