기록의 공간 :: mightytedkim

급하게 회사 업무로 airflow를 사용할 일이 있었는데docker-compose에서 dockerOperator를 사용한 경험입니다# 상황airflow 3년 전에 너가 세팅했지? 지금 바로 해줘 Airflow야 여러 버전별로 여러번 설치해봤으니까 알겠다고 대답했습니다. 생각없이 그냥 작업하다가 삽질을 2번이나 했습니다.# 삽질1: k8s 버전 생각 안하고 기존 소스로 설치하기2년 전에 세팅해둔 gitlab repo(airflow helm 2.3.0)가 있길래,회사 on-prem 쿠버(1.30) 에 실행해봤어요.  그런데 역시나 버전이 에러가 났습니다.(멍청한 나)- 현상: scheduler가 죽은 다음 살아나지를 않음 [원인]혹시나가 역시나. 버전이 안맞음gitlab repo가 2년 전 세팅한- gitl..

지난 포스팅에서는 Docker in Docker를 이용해서 image를 빌드했어요. 그런데 굳이 Image 빌드만 하면되는데 docker를 사용해야할까요? 예상 독자는 아래와 같습니다. Image 빌드에 굳이 Docker를 쓰고 싶지 않으신 분 보안에 취약한 Docker in Docker를 사용하고 싶지 않으신 분 Kaniko가 궁금하신 분 목차 내용 1. Kaniko란? 홈페이지: https://github.com/GoogleContainerTools/kaniko 한줄 요약: kaniko is a tool to build container images from a Dockerfile, inside a container or Kubernetes cluster. image: gcr.io/kaniko-pro..

SECTION 3: The most Common Operator | 1hr 12min 32. Introduction to Providers provider package - 제3자가 제공하는 것을 바로 적용할 수 있음 - 장점 : airflow의 업데이트를 기다릴 필요없음 s3의 경우 amz provider를 설치하면됨 - pip install apache-airflow-providers-amazon 설명은 operator 가이드에 들어가서 보면됨 astronomer의 홈페이지 - https://registry.astronomer.io/ 에서 검색 Provider 설치 예시 - requiremnets.txt airflow-provider-great-expectations==0.0.6 x-airflow-c..

spark-base 이미지 안에서 run 할 때 git pull 을 할 일이 생겼다. (build할 때 git pull 은 사실 git action이나 gitlab runner를 사용할 부분인 것 같다.) spark-base 이미지는 java가 base인 debian이다. 나는 base 이미지에다가 필요한 패키지를 설치햇다. Dockerfile FROM spark-3.1.2-base/spark-py:1.0.0 USER root # vm에서 프록시 설정(생략 가능) ENV DEBIAN_FRONTEND=noninteractive \ TZ=Asia/Seoul \ https_proxy=http://1**.2**.**.**2:**80 \ http_proxy=http://1**.2**.**.**2:**80 #lab..

docker proxy - docker.service에 프록시 설정해줘야함 참고: https://docs.docker.com/network/proxy/ # docker.service 경로 확인할 수 있음 $ sysmtemctl status docker $ vi /usr/lib/systemd/system/docker.service [Service] httpProxy: "http://192.168.1.12:3128, httpsProxy: "http://192.168.1.12:3128", noProxy: *.test.example.com,.example2.com,127.0.0.0/8 $ systemctl daemon-reload $ service docker restart docker insecure regi..

깃헙액션과 별도로 깃랩 액션도 테스트 해봄 예시) regitser key : 8AqvYcGC2Ts_FUMqz-9a -------------- 1. 도커 -> gitlab-runner 실행$root@vgitrunner:/srv/gitlab-runner/config:]#  docker run --detach \  --name gitlab-runner \  --volume /srv/gitlab-runner/config:/etc/gitlab-runner: \  --restart always \  --volume /var/run/docker.sock:/var/run/docker.sock \  gitlab/gitlab-runner:latest   94d07ec9b5e4823984250be138e661373aca2a..

오류 해결 dial tcp: lookup docker on 19.32.192.11:53: no such host 상황 dind 안에서, docker login 안됨 $ docker login -u deet1107 -p ****** WARNING! Using --password via the CLI is insecure. Use --password-stdin. error during connect: Post http://docker:2375/v1.39/auth: dial tcp: lookup docker on **.*.***.**:53: no such host 조치 HTTP 프록시 설정 Variables: HTTPS_PROXY: http://***.219.61.252:8080 HTTP_PROXY: http..

Github Action을 이용해 Harbor 에 푸시해봤습니다. harbor란? github Action을 통해 이미지 업로드 docker-hub 예시 harbor 예시 push to harbor by git action Harbor란? docker 사설 레포지토리 Docker Hub라는 공용 Docker Image 관리하지 않고, 사적인 장소 사용 github Action을 통해 이미지 업로드 둘다 docker/login-action@v1 을 사용 registry 입력하지 않으면 docker_hub가 default harbor를 사용할 때는 harbor 주소를 입력 (harbor.io예시) registry: demo.goharbor.io docker-hub 예시 name: v_test_docker_h..