기록의 공간 :: mightytedkim

airflow는 airbnb에서 만든 workflow 관리 플랫폼이에요 - 배치 파일을 순차적으로 돌릴 수도 있어요 - 이쁜 젠킨스 최근에 공부를 하게되면서 알게된 구조와 centos7에서 테스트한 예시를 메모하려고해요 airflow hello-world하면서 느낀점은 여기에 정리했어요 :) Airflow) 공부 및 적용기(메모) 최근에 airflow를 공부하고 있어요. 원래는 kubernertes의 설정 파일을 던지는 친구로 알고 보고 있엇는데, 배치파일 돌리는 작업으로 세팅 중이에요 이제 며칠봐서 틀릴 수도 있지만 제가 공부한 내 mightytedkim.tistory.com 구성 airflow webserver - airflow UI - workflow 상태 표시하고 실행, 재시작, 수동 조작, 로그..

최근에 airflow를 공부하고 있어요ㅎ 대표사진 삭제 사진 편집 작게작게문서 너비문서 너비옆트임옆트임 삭제삭제 사진 설명을 입력하세요. 그냥 "배치 돌리는 어플리케이션" 으로만 알고 있던 제가 하나씩 알아가며 메모를 하는 포스팅입니다 :) Airflow '워크플로우 관리 플랫폼' 으로 최근에 핫하게 사용되고 있어요. airbnb 에서 2016년에 만들어졌어요. 2020년에 2.0이 나오면서 더 강력해졌어요(이뻐짐) 장점 1. python : 가장 큰 장점, python으로 쉽게 접근이 가능 (데이터 분석가, 현업) 2. hello world 쉬움 : 한시간이면 만들 수 있어요 3. UI : 이쁘고 직관적이에요. 2.0으로 넘어오면서 엄청 이뻐졋어요 4. cloud 벤더 : cloud에서 운영하는 서비스..

postgresql에 커넥션이 걸리면, 끊을 수가 있다. PostgreSQL 9.2 and above: SELECT pg_terminate_backend(pg_stat_activity.pid) FROM pg_stat_activity WHERE pg_stat_activity.datname = 'data_example' -- ← change this to your DB AND pid pg_backend_pid() and client_addr = '10.0.0.21' PostgreSQL 9.1 and below: SELECT pg_terminate_backend(pg_stat_activity.pid) FROM pg_stat_activity WHERE pg_stat_activity.datname = 'TARGE..

도커 컴포즈 버전이 낮아서 실행이 안되는 상황 sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose sudo chmod +x /usr/local/bin/docker-compose 계속 no such file or directory 나오길래 뭐지했는데, 링크 설정 필요 ln -sf /usr/local/bin/docker-compose /usr/bin/docker-compose https://docs.docker.com/compose/install/

이전 게시물에서는 kuberenetes 없이 python으로 minio의 결과를 확인해봤어요 Kubernetes) How to run Spark with Minio in Kubernetes_1 회사에서 minio, spark, kuberenetes를 사용하게 되면서 유투브에서 좋은 자료를 찾아 따라했어요 유투브는 크게 2가지로 나누어지는데 이 게시물에서는 1번만 따라했어요. 1. minio > pyenv > spark-submit 로 mightytedkim.tistory.com 이 포스팅에서는 kubernetes pod 안에서 minio의 결과를 호출하는지 확인해봤어요 유투브는 크게 2가지로 나누어지는데 이 게시물에서는 sparkoperator를 따라했어요. 1. minio on spark: minio ..

회사에서 minio, spark, kuberenetes를 사용하게 되면서 유투브에서 좋은 자료를 찾아 따라했어요 유투브는 크게 2가지로 나누어지는데 이 게시물에서는 1번만 따라했어요. 1. minio on spark: minio > pyenv > spark-submit 로 결과 출력 2. kubernetes: sparkoperator를 이용해 kubernetes pod로 결과 출력 쉽게 따라할 수 잇었던 부분도 있고, 방화벽이나 네트워크 관련 문제 때문에 다른 방법을 사용하기도 했습니다. 1. minio 실행 후 pyspark로 결과 출력 minio: helm으로로 minio 실행 python: pyenv, pyenv-virtualenv 세팅 spark: spark-submit main.py Minio ..

docker proxy - docker.service에 프록시 설정해줘야함 참고: https://docs.docker.com/network/proxy/ # docker.service 경로 확인할 수 있음 $ sysmtemctl status docker $ vi /usr/lib/systemd/system/docker.service [Service] httpProxy: "http://192.168.1.12:3128, httpsProxy: "http://192.168.1.12:3128", noProxy: *.test.example.com,.example2.com,127.0.0.0/8 $ systemctl daemon-reload $ service docker restart docker insecure regi..

이번 스터디 주제는 디플로이먼트와 서비스입니다 (책은 15단계로 배우는 도커와 쿠버네티스, 깔끔하고 눈으로만 봐도 될정도로 과정을 다 기록해줌) 요약 1. pod는 일시적인 존재라 없어질 수 있기 때문에 관리해줄 친구들이 필요해요 2. 그 방법이 오늘 정리할 deployment service, job 입니다. - deployment는 파드의 개수를 관리해줘요 - service는 IP를 관리해줘요 - job 은 실행하고 종료하는 역할을 해요 1. Deployment 요청한 개수만큼 파드를 기동하여, 장애 등의 이유로 파드의 개수가 줄어들면 새롭게 파드를 만들어 기동한다. - replicaset 과 함께 동작한다. 주요 명령어 replicas : 파드 템플릿을 기동할 파드의 개수를 지정 selector : ..

이제 드디어 스터디에서 쿠버네티스를 시작했어요 ㅎㅎ 요약 발표자가 아닌 사회자를 통해서 스터디를 진행하고 있는데, 아직까지는 괜찮은 것 같아요 2시간을 채우지 못하면 어떡하나 생각했는데, 다들 질문도 많이 해주시고 시간이 오히려 부족하더라고요 (발표자가 아니다 보니까, 나에게 설명을 해주세요 느낌이 아니어서 더 열심히 스터디 준비를 하게되요 ㅎ) 3주차- 쿠버네티스 첫 걸음 & 매니페스트와 파드 - SLiPP 스터디 - SLiPP::위키 쿠버네티스 첫 걸음 클러스터 구성확인K8s 클러스터 환경의 정보 출력(macOS 미니쿠배싱글 노드 K8s 클러스터에서 구성 노드 출력Role : 책과 다르게 control-plane 이 나오는 이유?파드 실행파드는 쿠버 www.slipp.net 개인 공부 세팅하다가 시간..

기본적으로 harbor는 https로 설정이 되어 있다. 처음에 http로 연결하다가, 다른 부분들에서 걸려서 https로 바꿈 CA certificate Harbor가 설치되어 있는 linux에 세팅함 (테스트) ROOT-CA용 crt 생성 crt를 제공받아야하는데, 테스트니까 1. Private key(*.ca.key) 를 만든다. 2. ca.key로 *.ca.crt를 만든다. # openssl을 이용해서 CA certicate 프라이빗 키 생성 openssl genrsa -out ca.key 4096 # CA certifice 생성 openssl req -x509 -new -nodes -sha512 -days 3650 \ -subj "/C=KO/ST=Kim/L=TedO=SK/OU=AI/CN=mydo..