'데이터 엔지니어'로 성장하기

정리하는 걸 좋아하고, 남이 읽으면 더 좋아함

기타/Docker 6

Docker) run할 때 git pull하기

spark-base 이미지 안에서 run 할 때 git pull 을 할 일이 생겼다. (build할 때 git pull 은 사실 git action이나 gitlab runner를 사용할 부분인 것 같다.) spark-base 이미지는 java가 base인 debian이다. 나는 base 이미지에다가 필요한 패키지를 설치햇다. Dockerfile FROM spark-3.1.2-base/spark-py:1.0.0 USER root # vm에서 프록시 설정(생략 가능) ENV DEBIAN_FRONTEND=noninteractive \ TZ=Asia/Seoul \ https_proxy=http://1**.2**.**.**2:**80 \ http_proxy=http://1**.2**.**.**2:**80 #lab..

기타/Docker 2021.11.12

Harbor) 인증서 설정하기_docker,linux

기본적으로 harbor는 https로 설정이 되어 있다. 처음에 http로 연결하다가, 다른 부분들에서 걸려서 https로 바꿈 CA certificate Harbor가 설치되어 있는 linux에 세팅함 (테스트) ROOT-CA용 crt 생성 crt를 제공받아야하는데, 테스트니까 1. Private key(*.ca.key) 를 만든다. 2. ca.key로 *.ca.crt를 만든다. # openssl을 이용해서 CA certicate 프라이빗 키 생성 openssl genrsa -out ca.key 4096 # CA certifice 생성 openssl req -x509 -new -nodes -sha512 -days 3650 \ -subj "/C=KO/ST=Kim/L=TedO=SK/OU=AI/CN=mydo..

기타/Docker 2021.09.10

Harbor) minio 연결하기 실수

Harbor 연결이 안되서 여러 삽질을 했는데, 까먹기 전에 기록 1. docker push [harbor_domain] 을 입력했는데 오류가 남 retrying .. 2. Harbor 로그 찾아야함 /var/log/harbor가 default, 하지만 없음 $vi /root/harbor/docker-compose.yml 로그 경로 /data/harbor/ 확인 3. 로그 파일 중 뭘 봐야하는지 결정해야함 여러개 있는데, $ tail -f registry.log 4. 에러 로그 확인 err msg = s3 storage, minio에 '{' 가 있어서 안됨, regionendpoint에 cluster 설정 위해 {1~4} 입력했던게 에러가 났음 s3: accesskey: {MY_MINIO_ACCESSKE..

기타/Docker 2021.09.09

Docker) [해결] dial tcp: lookup docker on *.*.*.*:53: no such host_gitlab-runner

오류 해결 dial tcp: lookup docker on 19.32.192.11:53: no such host 상황 dind 안에서, docker login 안됨 $ docker login -u deet1107 -p ****** WARNING! Using --password via the CLI is insecure. Use --password-stdin. error during connect: Post http://docker:2375/v1.39/auth: dial tcp: lookup docker on **.*.***.**:53: no such host 조치 HTTP 프록시 설정 Variables: HTTPS_PROXY: http://***.219.61.252:8080 HTTP_PROXY: http..

기타/Docker 2021.09.08