'데이터 엔지니어'로 성장하기

정리하는 걸 좋아하고, 남이 읽으면 더 좋아함

인기글

Airflow) celery worker 환경 구성하기

airflow는 airbnb에서 만든 workflow 관리 플랫폼이에요 - 배치 파일을 순차적으로 돌릴 수도 있어요 - 이쁜 젠킨스 최근에 공부를 하게되면서 알게된 구조와 centos7에서 테스트한 예시를 메모하려고해요 airflow hello-world하면서 느낀점은 여기에 정리했어요 :) Airflow) 공부 및 적용기(메모) 최근에 airflow를 공부하고 있어요. 원래는 kubernertes의 설정 파일을 던지는 친구로 알고 보고 있엇는데, 배치파일 돌리는 작업으로 세팅 중이에요 이제 며칠봐서 틀릴 수도 있지만 제가 공부한 내 mightytedkim.tistory.com 구성 airflow webserver - airflow UI - workflow 상태 표시하고 실행, 재시작, 수동 조작, 로그..

Airflow 2021.10.12 0

데이터 잡부의 MLOps도전기 (2) - 라벨링 툴로 CVAT을 선택한 이유 #VISION

라벨링 툴로 왜 CVAT을 선택했는지 정리했습니다 :) 글의 구조는 아래와 같습니다.CVAT이 뭐에요?선택한 이유는 뭐에요?아쉬운 점은 뭐에요?. 글의 타깃 독자는 아래와 같습니다.Labeling 툴 도입을 고민하시는 분CVAT을 사용하시는 분CVAT 도입을 고민하시는 분. 지난 포스팅에서는 Vision MLOps 프로젝트에 투입된 배경에 대해서 정리했어요 https://mightytedkim.tistory.com/205 데이터 잡부의 도전기 #Vision#CVAT#Nuclio23년 하반기는 힘들었지만 재미있었어요. 새로운 분야를 접했거든요 '데이터 잡부'의 도전에 대해 정리하려 합니다 :) 글의 구조는 아래와 같습니다. 원래 하던 업무 (pipeline) 제안받은 업무 (MLops)mightytedki..

MLOps 2024.01.21 0

Harbor) 인증서 설정하기_docker,linux

기본적으로 harbor는 https로 설정이 되어 있다. 처음에 http로 연결하다가, 다른 부분들에서 걸려서 https로 바꿈 CA certificate Harbor가 설치되어 있는 linux에 세팅함 (테스트) ROOT-CA용 crt 생성 crt를 제공받아야하는데, 테스트니까 1. Private key(*.ca.key) 를 만든다. 2. ca.key로 *.ca.crt를 만든다. # openssl을 이용해서 CA certicate 프라이빗 키 생성 openssl genrsa -out ca.key 4096 # CA certifice 생성 openssl req -x509 -new -nodes -sha512 -days 3650 \ -subj "/C=KO/ST=Kim/L=TedO=SK/OU=AI/CN=mydo..

Docker 2021.09.10 0

k8s) cka 자격증 후기_칠지말지 고민될 때 보면 좋을 내용

업무에 쿠버네티스를 많이 사용하고 있는데, 알고 있는 것을 점검하고자 자격증을 공부했어요 인강은 작년에 Udemy를 들엇지만, 1년짜리 유효기간이 시험이라 끝까지 미루다가 얼마전에 시험을 쳤어요 ㅎ 예상 독자는 다음과 같습니다. CKA 시험을 치려고 고민하시는 분 읽고 얻으실 수 있는건 아래와 같아요 시험을 쳐야할지 말아야지 결정에 필요한 정보 1. 쿠버네티스 자격증이란? Linux foundation에서 제공하는 여러 자격들 중 하나에요 CKAD, CKA, CKS 등이 있어요 2. 공부 전 알아야하는 내용 시험을 치는 이유 ( 지식 습득 > 취업 스펙 ) 많은 사람들이 UDEMY에서 인강 듣고, 그냥 치면 딸 수 있는 시험이라고 해요. 그래서 쉬워 보이는데 생각보다 준비기간이 오래 걸립니다. 쿠버네티..

K8S 2024.02.04 1

Docker) [해결] dial tcp: lookup docker on *.*.*.*:53: no such host_gitlab-runner

오류 해결 dial tcp: lookup docker on 19.32.192.11:53: no such host 상황 dind 안에서, docker login 안됨 $ docker login -u deet1107 -p ****** WARNING! Using --password via the CLI is insecure. Use --password-stdin. error during connect: Post http://docker:2375/v1.39/auth: dial tcp: lookup docker on **.*.***.**:53: no such host 조치 HTTP 프록시 설정 Variables: HTTPS_PROXY: http://***.219.61.252:8080 HTTP_PROXY: http..

Docker 2021.09.08 0

Linux) ssh no matching MAC found 오류_해결

요약 ubuntu 22.04.1 을 설치하고 oracle linux 7.9에서 접근하려고 했는데 인증 오류("no matching MAC found" )가 났고 [-m mac_spec] 설정으로 해결했어요 $ ssh -m hmac-sha2-512 -A spc@10.***.70.41 문제 there's some incompatibility between the ssh client shipped with Windows and the server on Ubuntu 22.04. #사례1 # source, linux Oracle Linux Server release 7.6 # source, ssh OpenSSH_7.4p1, OpenSSL 1.0.2k-fips 26 Jan 2017 $ telnet 10.***.70..

Linux 2022.12.09 0

최신글

more

Airflow) docker-compose로 dockerOperator 실행하기

급하게 회사 업무로 airflow를 사용할 일이 있었는데docker-compose에서 dockerOperator를 사용한 경험입니다# 상황airflow 3년 전에 너가 세팅했지? 지금 바로 해줘 Airflow야 여러 버전별로 여러번 설치해봤으니까 알겠다고 대답했습니다. 생각없이 그냥 작업하다가 삽질을 2번이나 했습니다.# 삽질1: k8s 버전 생각 안하고 기존 소스로 설치하기2년 전에 세팅해둔 gitlab repo(airflow helm 2.3.0)가 있길래,회사 on-prem 쿠버(1.30) 에 실행해봤어요.  그런데 역시나 버전이 에러가 났습니다.(멍청한 나)- 현상: scheduler가 죽은 다음 살아나지를 않음 [원인]혹시나가 역시나. 버전이 안맞음gitlab repo가 2년 전 세팅한- gitl..

Airflow 2024.10.27 1

K8S) 망가진 클러스터 심폐소생술 하기_disk,memory부족

평화로운 오후 갑자기, 회사 K8S가 이상하다는 연락이 옵니다회사 서버실에 있는 쿠버네티스나는 1년 동안 들어가본적이 없는 쿠버네티스하지만 내가 살려야하는 쿠버네티스 돌이켜보면 별거 없지만, 클러스터 되살린 과정을 적어보려고 합니다. 예상 독자는 아래와 같습니다1. k8s 리소스 정리가 필요한 분2. worker disk pressure, memory 부족이 발생하는 분3. k8s 이슈 발생시, 확인환경은 아래와 같습니다.1. 온프렘2. master 3, worker 33. k8s 1.30 /// ubuntu 22.04 (스포) 를 원하시면 아래 [더 보기]를 눌러주세요더보기[상황 파악]  1. 무슨 이유에서 인지, ceph에서 문제 발생  (ceph core 덤프 파일이 /var/lib/rook-cep..

K8S 2024.09.30 2

기타) m1 mac ovpn 실행 에러_파일 경로 다름

회사망에 접속하기 위해서 ovpn을 사용하고 있다. iphone, ipad, galaxy, window 다 가능하고최근까지도 m1 에서 실행이되었는데 갑자기 안된다.  에러는 ovpn socket_protect error검색해보니 ovpn 실행이 안되어 있다고 한다.  그래서 ps -ef 했더니 진짜 실행되는게 없고인터넷 글처럼 다른 경로의 파일을 실행했다.그랬더니 권한 에러가 나와서 sudo를 넣었다. 된다. ㅎㅎ

카테고리 없음 2024.09.16 1

Vision-AI) coco dataset을 mask로 변환하기_coco2mask

이전 포스팅에서는 mask를 coco dataset으로 변환했습니다.https://mightytedkim.tistory.com/215 Vision-AI) mask 이미지 coco datset으로 변환하기_mask2cocococo 이미지를 mask로 변환하는 법이 있다면, 그 반대도 있겠죠. 이번에는 mask 이미지를 이용해서 coco datset을 만들어보겠습니다.실행하고 나면 파일이 생성된 것을 확인할 수 있습니다.사용한 변mightytedkim.tistory.com 이번에는 반대로 mask를 coco로 변환해보겠습니다. 이제 확인해봐야겠죠.이전 포스팅에서 mask와 coco를 시가화하는 글을 썼는데 이걸 이용해볼게요1. https://mightytedkim.tistory.com/212 Vision-A..

Vision 2024.05.08 0

Vision-AI) mask 이미지 coco datset으로 변환하기_mask2coco

coco 이미지를 mask로 변환하는 법이 있다면, 그 반대도 있겠죠. 이번에는 mask 이미지를 이용해서 coco datset을 만들어보겠습니다.실행하고 나면 파일이 생성된 것을 확인할 수 있습니다.사용한 변수는 아래와 같습니다여기서 주의할 점은 pixel 0의 경우 일반적으로 category_list에서 unlabeled 가 없는 값을 넣어줍니다.만약 넣으면 json 파일이 기가 단위로 나올 수 있어요. 잘 생성되었는지 확인해봐야겠죠?전에 포스팅했던 글의 class를 써보도록 하겠습니다.잘 나오는 것을 확인했습니다 :)https://mightytedkim.tistory.com/212  Vision-AI) coco dataset 시각화 하기 (코드 포함)coco dataset을 시각화하는데는 많은 방법..

Vision 2024.05.08 0