'데이터 엔지니어'로 성장하기

정리하는 걸 좋아하고, 남이 읽으면 더 좋아함

Instance 2

AI-Vision) 데이터 엔지니어 AI 도전기 (1)_Semantic Segmentation #Unet #Instance와 차이

처음 Vision Model을 공부하다가, Yolo를 보면서 쉬워 보여 무시했는데Unet을 하면서 당황했던 경험을 정리했습니다 ( 이 글은 모델의 원리보다는 사용에 초점을 맞춥니다. ) .예상 독자는 아래와 같습니다.YOLO 말고 다른 Vision Model을 쓰시려는 분Semantic Segmentation을 처음 시작하는 분Unet을 처음부터 떠먹여 줄 글을 찾는 분.목차는 아래와 같습니다Semantic이란 무엇인가요? (Instance와 비교)데이터셋 구조는 어떻게 되나요? (Original & mask)Prediction은 어떻게 나오나요? (Binary vs Multi-class).제 목표는 아래와 같습니다.이 글을 끝까지 읽으면, 아래 그림이 무엇을 뜻하는..

AI/Vision 2024.04.14

Ceph)rgw instance 늘리기_ephemeral storage

jupyterhub에서 spark_submit 날렸는데, storage 설정 주지 않아서 문제가 생겼음 (ceph rgw 죽음) 요약 1. ceph rgw fail 발생 2. spark job에서 설정 누락 3. ceph rgw instance 늘림 설명 1. ceph rgw fail 발생 ceph rgw 죽어서 object storage 안됨 2. spark job에서 설정 누락 spark submit할때 local_storage 동적할당 안해서 부하가 생긴것으로 추정 fail 대비해서 replica 1개 올려야겠다고 생각함 3. ceph rgw instance 늘림 $ vi object.yaml gateway: instances: 2 #1 # 결과 $k get all -n rook-ceph | gre..

Storage/Ceph 2022.04.04