기록의 공간 :: mightytedkim

회사에서 minio, spark, kuberenetes를 사용하게 되면서 유투브에서 좋은 자료를 찾아 따라했어요 유투브는 크게 2가지로 나누어지는데 이 게시물에서는 1번만 따라했어요. 1. minio on spark: minio > pyenv > spark-submit 로 결과 출력 2. kubernetes: sparkoperator를 이용해 kubernetes pod로 결과 출력 쉽게 따라할 수 잇었던 부분도 있고, 방화벽이나 네트워크 관련 문제 때문에 다른 방법을 사용하기도 했습니다. 1. minio 실행 후 pyspark로 결과 출력 minio: helm으로로 minio 실행 python: pyenv, pyenv-virtualenv 세팅 spark: spark-submit main.py Minio ..

docker proxy - docker.service에 프록시 설정해줘야함 참고: https://docs.docker.com/network/proxy/ # docker.service 경로 확인할 수 있음 $ sysmtemctl status docker $ vi /usr/lib/systemd/system/docker.service [Service] httpProxy: "http://192.168.1.12:3128, httpsProxy: "http://192.168.1.12:3128", noProxy: *.test.example.com,.example2.com,127.0.0.0/8 $ systemctl daemon-reload $ service docker restart docker insecure regi..

이번 스터디 주제는 디플로이먼트와 서비스입니다 (책은 15단계로 배우는 도커와 쿠버네티스, 깔끔하고 눈으로만 봐도 될정도로 과정을 다 기록해줌) 요약 1. pod는 일시적인 존재라 없어질 수 있기 때문에 관리해줄 친구들이 필요해요 2. 그 방법이 오늘 정리할 deployment service, job 입니다. - deployment는 파드의 개수를 관리해줘요 - service는 IP를 관리해줘요 - job 은 실행하고 종료하는 역할을 해요 1. Deployment 요청한 개수만큼 파드를 기동하여, 장애 등의 이유로 파드의 개수가 줄어들면 새롭게 파드를 만들어 기동한다. - replicaset 과 함께 동작한다. 주요 명령어 replicas : 파드 템플릿을 기동할 파드의 개수를 지정 selector : ..

이제 드디어 스터디에서 쿠버네티스를 시작했어요 ㅎㅎ 요약 발표자가 아닌 사회자를 통해서 스터디를 진행하고 있는데, 아직까지는 괜찮은 것 같아요 2시간을 채우지 못하면 어떡하나 생각했는데, 다들 질문도 많이 해주시고 시간이 오히려 부족하더라고요 (발표자가 아니다 보니까, 나에게 설명을 해주세요 느낌이 아니어서 더 열심히 스터디 준비를 하게되요 ㅎ) 3주차- 쿠버네티스 첫 걸음 & 매니페스트와 파드 - SLiPP 스터디 - SLiPP::위키 쿠버네티스 첫 걸음 클러스터 구성확인K8s 클러스터 환경의 정보 출력(macOS 미니쿠배싱글 노드 K8s 클러스터에서 구성 노드 출력Role : 책과 다르게 control-plane 이 나오는 이유?파드 실행파드는 쿠버 www.slipp.net 개인 공부 세팅하다가 시간..

기본적으로 harbor는 https로 설정이 되어 있다. 처음에 http로 연결하다가, 다른 부분들에서 걸려서 https로 바꿈 CA certificate Harbor가 설치되어 있는 linux에 세팅함 (테스트) ROOT-CA용 crt 생성 crt를 제공받아야하는데, 테스트니까 1. Private key(*.ca.key) 를 만든다. 2. ca.key로 *.ca.crt를 만든다. # openssl을 이용해서 CA certicate 프라이빗 키 생성 openssl genrsa -out ca.key 4096 # CA certifice 생성 openssl req -x509 -new -nodes -sha512 -days 3650 \ -subj "/C=KO/ST=Kim/L=TedO=SK/OU=AI/CN=mydo..

Harbor 연결이 안되서 여러 삽질을 했는데, 까먹기 전에 기록 1. docker push [harbor_domain] 을 입력했는데 오류가 남 retrying .. 2. Harbor 로그 찾아야함 /var/log/harbor가 default, 하지만 없음 $vi /root/harbor/docker-compose.yml 로그 경로 /data/harbor/ 확인 3. 로그 파일 중 뭘 봐야하는지 결정해야함 여러개 있는데, $ tail -f registry.log 4. 에러 로그 확인 err msg = s3 storage, minio에 '{' 가 있어서 안됨, regionendpoint에 cluster 설정 위해 {1~4} 입력했던게 에러가 났음 s3: accesskey: {MY_MINIO_ACCESSKE..

깃헙액션과 별도로 깃랩 액션도 테스트 해봄 예시) regitser key : 8AqvYcGC2Ts_FUMqz-9a -------------- 1. 도커 -> gitlab-runner 실행$root@vgitrunner:/srv/gitlab-runner/config:]#  docker run --detach \  --name gitlab-runner \  --volume /srv/gitlab-runner/config:/etc/gitlab-runner: \  --restart always \  --volume /var/run/docker.sock:/var/run/docker.sock \  gitlab/gitlab-runner:latest   94d07ec9b5e4823984250be138e661373aca2a..

오류 해결 dial tcp: lookup docker on 19.32.192.11:53: no such host 상황 dind 안에서, docker login 안됨 $ docker login -u deet1107 -p ****** WARNING! Using --password via the CLI is insecure. Use --password-stdin. error during connect: Post http://docker:2375/v1.39/auth: dial tcp: lookup docker on **.*.***.**:53: no such host 조치 HTTP 프록시 설정 Variables: HTTPS_PROXY: http://***.219.61.252:8080 HTTP_PROXY: http..

url을 호출 했을 때 안되면, 인프라 담당자에게 안된다고 말을 합니다. 하지만 개발자 선에서 확인해야할 것들도 있습니다. 리눅스 tcpdump sudo tcpdump -i eth0 port 8080 (리눅스 컨테이너 안의 포트) 포트 : 8080 리눅스 -> 윈도우 pc에서 18080을 호출 -i 인터페이스는 보통 eth0임 더보기 ~ sudo tcpdump --help tcpdump version tcpdump version 4.9.3 -- Apple version 100.100.2 libpcap version 1.9.1 LibreSSL 2.8.3 Usage: tcpdump [-aAbdDefhHIJKlLnNOpqStuUvxX#] [ -B size ] [ -c count ] [ -C file_size ..

Github Action을 이용해 Harbor 에 푸시해봤습니다. harbor란? github Action을 통해 이미지 업로드 docker-hub 예시 harbor 예시 push to harbor by git action Harbor란? docker 사설 레포지토리 Docker Hub라는 공용 Docker Image 관리하지 않고, 사적인 장소 사용 github Action을 통해 이미지 업로드 둘다 docker/login-action@v1 을 사용 registry 입력하지 않으면 docker_hub가 default harbor를 사용할 때는 harbor 주소를 입력 (harbor.io예시) registry: demo.goharbor.io docker-hub 예시 name: v_test_docker_h..