기록의 공간 :: mightytedkim

지난 포스팅에서는  superset 4.x 버전에 대해서 간단하게 알아봤어요. Superset) 너 왜이렇게 버전업이 빠르니? (7개월 만에 2.1에서 4.0)작년에 superset POC하고 올해 적용하기로 했어요예전에 2.1 버전을 설치했는데, 지금 보니 4.1 이더라고요 오늘 포스팅에서는 각 버전 별 특징과실제 느낀 차이점에 대해 이야기할 예정입니다. 예mightytedkim.tistory.com 이번에는 간단한 설치부터, 적용한 설정값들에 대해서 다뤄볼게요.0. 들어가기 전에예상 독자는 아래와 같습니다.1. superset 4.x를 docker-compose로 실행하고 싶은 분2. docker-compose 설정값에서 알아야하는 것 1. superset 설치하기- 공식 문서: https://sup..

작년에 superset POC하고 올해 적용하기로 했어요예전에 2.1 버전을 설치했는데, 지금 보니 4.1 이더라고요 오늘 포스팅에서는 각 버전 별 특징과실제 느낀 차이점에 대해 이야기할 예정입니다. 예상 독자는 아래와 같습니다.1. 버전 별로 무엇이 다른지 궁금한 분2. superset이 무엇인지 궁금한 분 [1. 버전 별 특징] 먼저 릴리스 날짜를 정리해보죠대충 1년에 1개씩 업시켰어요 3 버전이 7개월 정도로 짧네요. 저처럼 23년 3월에 테스트하다가 24년 11월에 보는 사람은3.x 가 없이 그냥 4.x 올라간 것처럼 느낄 수 있겠어요. 이제 버전 별 특징을 자세히 보죠 가장 많이 사용되는 버전은 2.1로 알고 있어요.Superset이 커뮤니티에서 언급되던게 22-23년이고그 때 구축된 시스템을 ..

급하게 회사 업무로 airflow를 사용할 일이 있었는데docker-compose에서 dockerOperator를 사용한 경험입니다# 상황airflow 3년 전에 너가 세팅했지? 지금 바로 해줘 Airflow야 여러 버전별로 여러번 설치해봤으니까 알겠다고 대답했습니다. 생각없이 그냥 작업하다가 삽질을 2번이나 했습니다.# 삽질1: k8s 버전 생각 안하고 기존 소스로 설치하기2년 전에 세팅해둔 gitlab repo(airflow helm 2.3.0)가 있길래,회사 on-prem 쿠버(1.30) 에 실행해봤어요.  그런데 역시나 버전이 에러가 났습니다.(멍청한 나)- 현상: scheduler가 죽은 다음 살아나지를 않음 [원인]혹시나가 역시나. 버전이 안맞음gitlab repo가 2년 전 세팅한- gitl..

평화로운 오후 갑자기, 회사 K8S가 이상하다는 연락이 옵니다회사 서버실에 있는 쿠버네티스나는 1년 동안 들어가본적이 없는 쿠버네티스하지만 내가 살려야하는 쿠버네티스 돌이켜보면 별거 없지만, 클러스터 되살린 과정을 적어보려고 합니다. 예상 독자는 아래와 같습니다1. k8s 리소스 정리가 필요한 분2. worker disk pressure, memory 부족이 발생하는 분3. k8s 이슈 발생시, 확인환경은 아래와 같습니다.1. 온프렘2. master 3, worker 33. k8s 1.30 /// ubuntu 22.04 (스포) 를 원하시면 아래 [더 보기]를 눌러주세요더보기[상황 파악]  1. 무슨 이유에서 인지, ceph에서 문제 발생  (ceph core 덤프 파일이 /var/lib/rook-cep..

회사망에 접속하기 위해서 ovpn을 사용하고 있다. iphone, ipad, galaxy, window 다 가능하고최근까지도 m1 에서 실행이되었는데 갑자기 안된다.  에러는 ovpn socket_protect error검색해보니 ovpn 실행이 안되어 있다고 한다.  그래서 ps -ef 했더니 진짜 실행되는게 없고인터넷 글처럼 다른 경로의 파일을 실행했다.그랬더니 권한 에러가 나와서 sudo를 넣었다. 된다. ㅎㅎ

이전 포스팅에서는 mask를 coco dataset으로 변환했습니다.https://mightytedkim.tistory.com/215 Vision-AI) mask 이미지 coco datset으로 변환하기_mask2cocococo 이미지를 mask로 변환하는 법이 있다면, 그 반대도 있겠죠. 이번에는 mask 이미지를 이용해서 coco datset을 만들어보겠습니다.실행하고 나면 파일이 생성된 것을 확인할 수 있습니다.사용한 변mightytedkim.tistory.com 이번에는 반대로 mask를 coco로 변환해보겠습니다. 이제 확인해봐야겠죠.이전 포스팅에서 mask와 coco를 시가화하는 글을 썼는데 이걸 이용해볼게요1. https://mightytedkim.tistory.com/212 Vision-A..

coco 이미지를 mask로 변환하는 법이 있다면, 그 반대도 있겠죠. 이번에는 mask 이미지를 이용해서 coco datset을 만들어보겠습니다.실행하고 나면 파일이 생성된 것을 확인할 수 있습니다.사용한 변수는 아래와 같습니다여기서 주의할 점은 pixel 0의 경우 일반적으로 category_list에서 unlabeled 가 없는 값을 넣어줍니다.만약 넣으면 json 파일이 기가 단위로 나올 수 있어요. 잘 생성되었는지 확인해봐야겠죠?전에 포스팅했던 글의 class를 써보도록 하겠습니다.잘 나오는 것을 확인했습니다 :)https://mightytedkim.tistory.com/212  Vision-AI) coco dataset 시각화 하기 (코드 포함)coco dataset을 시각화하는데는 많은 방법..

이전 포스팅에서는 학습 전 mask를 확인하는 코드를 소개했어요https://mightytedkim.tistory.com/213 Vision-AI) Mask 정리해서 시각화하기(one-hot, show_channel)semantic segmentation에서mask가 제대로 만들어졌는지 궁금할 때가 있어요. 이걸 위해서 MaskViewer라는 class를 만들었어요. 원본 이미지와 mask 이미지만 보려고 할때는 아래처럼 show_channeld=False를 입력mightytedkim.tistory.com 이번에는 prediction도 함께 비교하는 코드를 소개하려고 해요 이전 포스팅에서의 MaskViewer를 사용해도, prediction mask를 똑같이 볼 수 있어요 하지만 어떤 class가 매칭이..

semantic segmentation에서mask가 제대로 만들어졌는지 궁금할 때가 있어요. 이걸 위해서 MaskViewer라는 class를 만들었어요. 원본 이미지와 mask 이미지만 보려고 할때는 아래처럼 show_channeld=False를 입력하면 됩니다. 채널 별로 보고 싶으면 show_channels=True를 입력하면 되요 코드는 아래와 같습니다.class MaskViewer: def __init__(self, input_img_dir, input_mask_dir, cat_names):#cat_names self.input_img_dir = input_img_dir self.input_mask_dir = input_mask_dir self.cat_n..

coco dataset을 시각화하는데는 많은 방법이 있습니다이번 포스팅에서는 소개하려고 합니다. 예상 독자는 아래와 같습니다1. coco datset 테스트가 필요하신 분2. 바로 사용할 수 있는 정리된 class가 필요하신 분 목차는 아래와 같습니다.1. matplotlib 사용 pycoco도 많이 사용하시는데, 저는 불편하더라고요. id값이 int가 아니면 오류를 뱉는다던가 제약들이 있어가지고.그래서 제가 편하게 사용하려고 아래 코드를 만들었습니다.import osimport jsonimport cv2import numpy as npimport matplotlib.pyplot as pltfrom matplotlib.patches import Polygonfrom collections import Co..