기록의 공간 :: mightytedkim

지난 포스팅에서는 Docker in Docker를 이용해서 image를 빌드했어요. 그런데 굳이 Image 빌드만 하면되는데 docker를 사용해야할까요? 예상 독자는 아래와 같습니다. Image 빌드에 굳이 Docker를 쓰고 싶지 않으신 분 보안에 취약한 Docker in Docker를 사용하고 싶지 않으신 분 Kaniko가 궁금하신 분 목차 내용 1. Kaniko란? 홈페이지: https://github.com/GoogleContainerTools/kaniko 한줄 요약: kaniko is a tool to build container images from a Dockerfile, inside a container or Kubernetes cluster. image: gcr.io/kaniko-pro..

SECTION 3: The most Common Operator | 1hr 12min 32. Introduction to Providers provider package - 제3자가 제공하는 것을 바로 적용할 수 있음 - 장점 : airflow의 업데이트를 기다릴 필요없음 s3의 경우 amz provider를 설치하면됨 - pip install apache-airflow-providers-amazon 설명은 operator 가이드에 들어가서 보면됨 astronomer의 홈페이지 - https://registry.astronomer.io/ 에서 검색 Provider 설치 예시 - requiremnets.txt airflow-provider-great-expectations==0.0.6 x-airflow-c..

spark-base 이미지 안에서 run 할 때 git pull 을 할 일이 생겼다. (build할 때 git pull 은 사실 git action이나 gitlab runner를 사용할 부분인 것 같다.) spark-base 이미지는 java가 base인 debian이다. 나는 base 이미지에다가 필요한 패키지를 설치햇다. Dockerfile FROM spark-3.1.2-base/spark-py:1.0.0 USER root # vm에서 프록시 설정(생략 가능) ENV DEBIAN_FRONTEND=noninteractive \ TZ=Asia/Seoul \ https_proxy=http://1**.2**.**.**2:**80 \ http_proxy=http://1**.2**.**.**2:**80 #lab..

docker proxy - docker.service에 프록시 설정해줘야함 참고: https://docs.docker.com/network/proxy/ # docker.service 경로 확인할 수 있음 $ sysmtemctl status docker $ vi /usr/lib/systemd/system/docker.service [Service] httpProxy: "http://192.168.1.12:3128, httpsProxy: "http://192.168.1.12:3128", noProxy: *.test.example.com,.example2.com,127.0.0.0/8 $ systemctl daemon-reload $ service docker restart docker insecure regi..

깃헙액션과 별도로 깃랩 액션도 테스트 해봄 예시) regitser key : 8AqvYcGC2Ts_FUMqz-9a -------------- 1. 도커 -> gitlab-runner 실행 $root@vgitrunner:/srv/gitlab-runner/config:]# docker run --detach \ --name gitlab-runner \ --volume /srv/gitlab-runner/config:/etc/gitlab-runner: \ --restart always \ --volume /var/run/docker.sock:/var/run/docker.sock \ gitlab/gitlab-runner:latest 94d07ec9b5e4823984250be138e661373aca2ae3362e5..

오류 해결 dial tcp: lookup docker on 19.32.192.11:53: no such host 상황 dind 안에서, docker login 안됨 $ docker login -u deet1107 -p ****** WARNING! Using --password via the CLI is insecure. Use --password-stdin. error during connect: Post http://docker:2375/v1.39/auth: dial tcp: lookup docker on **.*.***.**:53: no such host 조치 HTTP 프록시 설정 Variables: HTTPS_PROXY: http://***.219.61.252:8080 HTTP_PROXY: http..

Github Action을 이용해 Harbor 에 푸시해봤습니다. harbor란? github Action을 통해 이미지 업로드 docker-hub 예시 harbor 예시 push to harbor by git action Harbor란? docker 사설 레포지토리 Docker Hub라는 공용 Docker Image 관리하지 않고, 사적인 장소 사용 github Action을 통해 이미지 업로드 둘다 docker/login-action@v1 을 사용 registry 입력하지 않으면 docker_hub가 default harbor를 사용할 때는 harbor 주소를 입력 (harbor.io예시) registry: demo.goharbor.io docker-hub 예시 name: v_test_docker_h..