기록의 공간 :: mightytedkim

proxy 설정 때문에 python에서 requests 코드가 돌아가지 않는 상황 발생 ~/.bashrc나 /etc/environment에서 http_proxy, https_proxy를 주석해주면 되지만 나는 코드 내에서 초기화를 하고 싶었어요 방법은 아래와 같아요. 간단하지만 당황하면 생각이 안나서 메모! os.environ['http_proxy'] = "" os.environ['https_proxy'] = "" https://stackoverflow.com/questions/48862492/how-to-reset-system-proxy-in-centos-using-python-code

고정 ip, dns, proxy 설정까지 해서 ping, telnet, ssh가 되는데 curl이 안되더라고요..curlrc에 noproxy를 추가해서 적용했습니다 예상 독자는 아래와 같아요1. 네트워크 초보자2. vm 세팅하시는 분들 상황상황은 아래와 같았어요 > 정상$ curl  '' localhost:30071$ curl -x '' 172.17.172.36:30071$ export http_proxy='' & curl 172.17.172.36:30071 > 비정상# 계속 http_proxy로 감$ curl -x '' 172.17.172.36:30071Rebuilt URL to: 172.17.172.36:30071/* Trying 192.219.61.252...* TCP_NODELAY set* Con..

spark ui를 jupyterhub에서 접근이 안되서 골머리를 썩는중 검색하다가 겨우 방법을 찾음 jupyterhub 접속 경로: http://10.***.29.***:30011/user/manager spark_session = SparkSession \ .builder.appName(APP_NAME) \ .master("k8s://https://172.17.***.**:6443") \ .config('spark.ui.proxyBase', '/user/manager/proxy/4040') \ jupyterhub spark UI 접속 경로: http://10.***.29.***:30011/user/manager/proxy/4040/environment/ 성공! 물론 pip install로 proxy 관..

spark image를 만드는 법과 VM,내부망안에서 제가 겪은 경험을 공유하려 해요 별거 아니지만 처음에 할 때는 너무 막막했었어요 ㅎ 글을 구조는 아래와 같아요 1. 상황 spark image를 만들기 VM, 내부망에서 build 실패 2. 해결 spark-3.1.2-bin-hadoop3.2/kubernetes/Dockerfile Sources.list 주석 HTTP_PROXY, HTTPS_PROXY 설정 kubernetes/dockerfiles/spark/bindings/python/Dockerfile pypi.org를 신뢰할 수 있는 host HTTP_PROXY, HTTPS_PROXY 설정 1. 상황 spark image를 만들기 spark를 실행하는 base image를 만들 때 인프라 상황이 ..

kubernetes에 airflow를 올렸어요 K8s로 airflow 올리기 native에서 테스트할 때는 아래처럼 2개로 테스트했는데 vm1 : scheduler,webserver celery worker1, celery flower vm2 celery worker2 k8s에서 세팅하니까, 이렇게 각각 pod로 생성되더라고요 NAME READY STATUS RESTARTS AGE pod/airflow-flower-6c6b7f5d68-lx4j8 1/1 Running 1 2d16h pod/airflow-postgresql-0 1/1 Running 2 2d16h pod/airflow-redis-0 1/1 Running 0 2d1h pod/airflow-scheduler-884ddd5f6-g2vxt 2/2 R..

docker proxy - docker.service에 프록시 설정해줘야함 참고: https://docs.docker.com/network/proxy/ # docker.service 경로 확인할 수 있음 $ sysmtemctl status docker $ vi /usr/lib/systemd/system/docker.service [Service] httpProxy: "http://192.168.1.12:3128, httpsProxy: "http://192.168.1.12:3128", noProxy: *.test.example.com,.example2.com,127.0.0.0/8 $ systemctl daemon-reload $ service docker restart docker insecure regi..