기록의 공간 :: mightytedkim

오류 해결 dial tcp: lookup docker on 19.32.192.11:53: no such host 상황 dind 안에서, docker login 안됨 $ docker login -u deet1107 -p ****** WARNING! Using --password via the CLI is insecure. Use --password-stdin. error during connect: Post http://docker:2375/v1.39/auth: dial tcp: lookup docker on **.*.***.**:53: no such host 조치 HTTP 프록시 설정 Variables: HTTPS_PROXY: http://***.219.61.252:8080 HTTP_PROXY: http..

요약 1. kubenetes 환경에서 airflow를 이용해 spark_submit을 함 2. SparkKubernetesOpertor(SKO)를 선택함 개요 상황 쿠버네티스 클러스터 환경에서 spark_submit 관리 필요 후보 (3가지) KubernetePodOperator(KPO) : dag SparkApplication(CRD) : yaml SparkKubernetesOperator(SKO) : yaml + dag 최종 결과 (SKO) command script/scample/sample-sko-spark.yaml dags/sample/sample-sko-spark.py 시행착오 (FYI) SKO) role 권한 때문에 Forbidden 에러 SKO) sensor의 task_id 때문에 에러 S..

기본적으로 harbor는 https로 설정이 되어 있다. 처음에 http로 연결하다가, 다른 부분들에서 걸려서 https로 바꿈 CA certificate Harbor가 설치되어 있는 linux에 세팅함 (테스트) ROOT-CA용 crt 생성 crt를 제공받아야하는데, 테스트니까 1. Private key(*.ca.key) 를 만든다. 2. ca.key로 *.ca.crt를 만든다. # openssl을 이용해서 CA certicate 프라이빗 키 생성 openssl genrsa -out ca.key 4096 # CA certifice 생성 openssl req -x509 -new -nodes -sha512 -days 3650 \ -subj "/C=KO/ST=Kim/L=TedO=SK/OU=AI/CN=mydo..

온프렘 내부망 세팅하던 중에, 제가 사용하는 apt 들이 없어서 설치했어요 나중에 까먹을까봐 기록해두려고요 환경은 아래와 같아요 - ubuntu 22.04 온라인 - tree, ifconfig, unzip 을 설치했어요 #온라인 다운로드 $ apt-get install --download-only unzip #다운로드 파일 확인 $ ll /var/cache/apt/archives | grep unzip unzip_6.0-26ubuntu3_amd64.deb 오프라인 #파일 복사 $ cd /var/cache/apt/archives $ cp ./etc/util/unzip_6.0-26ubuntu3_amd64.deb /var/cache/apt/archives/ #오프라인 설치 $ sudo dpkg -i unzip..

airflow 공부하다가 궁금한게 잇어서, 하나씩 돌려봄 ㅎㅎ 요약 task Context 공부하다가 의문이 생김 테스트 **context, **kwargs 로 두개를 파라미터로 두면 어떻게 될까? execution_date를 변수로 명시하면 사용할 수 있다는데, **context 에서는 그럼 빠지는건가? execution_date 오버라이딩가능할까? 설명 1. task Context 공부하다가 의문이 생김 - execution_date를 변수로 명시하면 사용할 수 있다는데, **context 에서는 그럼 빠지는건가? - **context, **kwargs 로 두개를 파라미터로 두면 어떻게 될까? - execution_date 오버라이딩가능할까? 아래는 테스트할 때 사용할 기본 틀 from airflow..

Forbidden 에러, clusterrole과 serviceaccount로 해결 clusterrole과 serviceaccount 확인하기 spark 테스트하는 도중 권한 관련 로그를 접했어요 #kubernetes.client.rest.ApiException: (403) #Reason: Forbidden #HTTP response headers: HTTPHeaderDict({'Cache-Control': 'no-cache, private', 'Content-Type': 'application/json', 'X-Content-Type-Options': 'nosniff', 'Date': 'Fri, 19 Nov 2021 06:50:38 GMT', 'Content-Length': '417'}) #HTTP re..