기록의 공간 :: mightytedkim

airflow는 airbnb에서 만든 workflow 관리 플랫폼이에요 - 배치 파일을 순차적으로 돌릴 수도 있어요 - 이쁜 젠킨스 최근에 공부를 하게되면서 알게된 구조와 centos7에서 테스트한 예시를 메모하려고해요 airflow hello-world하면서 느낀점은 여기에 정리했어요 :) Airflow) 공부 및 적용기(메모) 최근에 airflow를 공부하고 있어요. 원래는 kubernertes의 설정 파일을 던지는 친구로 알고 보고 있엇는데, 배치파일 돌리는 작업으로 세팅 중이에요 이제 며칠봐서 틀릴 수도 있지만 제가 공부한 내 mightytedkim.tistory.com 구성 airflow webserver - airflow UI - workflow 상태 표시하고 실행, 재시작, 수동 조작, 로그..

기본적으로 harbor는 https로 설정이 되어 있다. 처음에 http로 연결하다가, 다른 부분들에서 걸려서 https로 바꿈 CA certificate Harbor가 설치되어 있는 linux에 세팅함 (테스트) ROOT-CA용 crt 생성 crt를 제공받아야하는데, 테스트니까 1. Private key(*.ca.key) 를 만든다. 2. ca.key로 *.ca.crt를 만든다. # openssl을 이용해서 CA certicate 프라이빗 키 생성 openssl genrsa -out ca.key 4096 # CA certifice 생성 openssl req -x509 -new -nodes -sha512 -days 3650 \ -subj "/C=KO/ST=Kim/L=TedO=SK/OU=AI/CN=mydo..

1. ceph status || ceph -w standby active를 확인할 수 잇음 sh-4.4$ ceph status || ceph -w cluster: id: 9cc2dec6-5cbf-49c3-abdf-1eaa15ec54e2 health: HEALTH_OK services: mon: 3 daemons, quorum a,b,c (age 3h) mgr: a(active, since 13m) mds: 1/1 daemons up, 1 hot standby osd: 5 osds: 5 up (since 3h), 5 in (since 6w) rgw: 1 daemon active (1 hosts, 1 zones) data: volumes: 1/1 healthy pools: 11 pools, 177 pgs o..

라벨링 툴로 왜 CVAT을 선택했는지 정리했습니다 :) 글의 구조는 아래와 같습니다.CVAT이 뭐에요?선택한 이유는 뭐에요?아쉬운 점은 뭐에요?. 글의 타깃 독자는 아래와 같습니다.Labeling 툴 도입을 고민하시는 분CVAT을 사용하시는 분CVAT 도입을 고민하시는 분. 지난 포스팅에서는 Vision MLOps 프로젝트에 투입된 배경에 대해서 정리했어요 https://mightytedkim.tistory.com/205 데이터 잡부의 도전기 #Vision#CVAT#Nuclio23년 하반기는 힘들었지만 재미있었어요. 새로운 분야를 접했거든요 '데이터 잡부'의 도전에 대해 정리하려 합니다 :) 글의 구조는 아래와 같습니다. 원래 하던 업무 (pipeline) 제안받은 업무 (MLops)mightytedki..

Forbidden 에러, clusterrole과 serviceaccount로 해결 clusterrole과 serviceaccount 확인하기 spark 테스트하는 도중 권한 관련 로그를 접했어요 #kubernetes.client.rest.ApiException: (403) #Reason: Forbidden #HTTP response headers: HTTPHeaderDict({'Cache-Control': 'no-cache, private', 'Content-Type': 'application/json', 'X-Content-Type-Options': 'nosniff', 'Date': 'Fri, 19 Nov 2021 06:50:38 GMT', 'Content-Length': '417'}) #HTTP re..

오류 해결 dial tcp: lookup docker on 19.32.192.11:53: no such host 상황 dind 안에서, docker login 안됨 $ docker login -u deet1107 -p ****** WARNING! Using --password via the CLI is insecure. Use --password-stdin. error during connect: Post http://docker:2375/v1.39/auth: dial tcp: lookup docker on **.*.***.**:53: no such host 조치 HTTP 프록시 설정 Variables: HTTPS_PROXY: http://***.219.61.252:8080 HTTP_PROXY: http..