기록의 공간 :: mightytedkim

라벨링 툴로 왜 CVAT을 선택했는지 정리했습니다 :) 글의 구조는 아래와 같습니다.CVAT이 뭐에요?선택한 이유는 뭐에요?아쉬운 점은 뭐에요?. 글의 타깃 독자는 아래와 같습니다.Labeling 툴 도입을 고민하시는 분CVAT을 사용하시는 분CVAT 도입을 고민하시는 분. 지난 포스팅에서는 Vision MLOps 프로젝트에 투입된 배경에 대해서 정리했어요 https://mightytedkim.tistory.com/205 데이터 잡부의 도전기 #Vision#CVAT#Nuclio23년 하반기는 힘들었지만 재미있었어요. 새로운 분야를 접했거든요 '데이터 잡부'의 도전에 대해 정리하려 합니다 :) 글의 구조는 아래와 같습니다. 원래 하던 업무 (pipeline) 제안받은 업무 (MLops)mightytedki..

최근에 Proxmox 스터디를 시작했어요. 나만의 사설 클라우드를 만들자! 라는 포부였고요.다행히 공감해주시는 분들 2명이 함께해주셨습니다 proxmox 설치이 부분은 간단하고 인터넷에 많이 나와있어서 생략할게요.다만 lan선이 꼭 있어야 합니다. 공식 문서에서도 굳이 wifi해야하냐고 할정도로 하지만 개발자들은 굳이 해야하냐에, 뭔가 정복 욕구가 나오죠 들어가기 전에 (proxmox wifi 연결)wifi 연결하기는 여타 linux 설정과 크게 다르지 않아요 제 환경은 아래와 같습니다.proxmox ve 8.3.4공유기 LGU+준비물wifi 연결이 가능한 pc/ notebooklan선명령어vim, net-tools, networkmanagerproxmox wifi 연결항상 두괄식이죠. 일단 저희가 목..

요약 1. kubenetes 환경에서 airflow를 이용해 spark_submit을 함 2. SparkKubernetesOpertor(SKO)를 선택함 개요 상황 쿠버네티스 클러스터 환경에서 spark_submit 관리 필요 후보 (3가지) KubernetePodOperator(KPO) : dag SparkApplication(CRD) : yaml SparkKubernetesOperator(SKO) : yaml + dag 최종 결과 (SKO) command script/scample/sample-sko-spark.yaml dags/sample/sample-sko-spark.py 시행착오 (FYI) SKO) role 권한 때문에 Forbidden 에러 SKO) sensor의 task_id 때문에 에러 S..

요즘 '빅데이터 지탱하는 기술' 보고 있는데, superset이 나와서 정리해봣어요예상 독자는 아래와 같아요 - superset 사용하시려는 분 - 기본 구조를 아시고 싶으신 분 - filter를 where절 안에서 사용하고 싶으신분 저는 k8s helm을 이용해서 구현했어요 사용 방법은 kibana와 비슷해서 편했고, 저는 trino를 데이터 소스로 사용했어요superset이란?- airbnb(2016)에서 만든 BI 툴 - 사용자 친화적인 UI데모 페이지 들어가면 볼 수 있어요 https://superset.demo.datahubproject.io/superset/welcome/Supersetsuperset.demo.datahubproject.io느낀 장/단점장점 - 공짜 - 연결할 데이터 소스가 많..

예전에 velog에서 정리했던 글을 아카이빙 https://velog.io/@deet1107/elk-dashboard ELK 실습(서울시 지하철 대시보드) 나는 원리를 파고 들어가는 진성 개발자보다는,일단 hello world를 해보고 원리를 다시 공부하는 청개구리 스타일이다.왜 중요한지를 알지 못하면 하지를 않아요..그래서 ElasticSearch로 대시보드 만 velog.io --- 저는 원리를 파고 들어가는 진성 개발자보다는, 일단 hello world를 해보고 원리를 다시 공부하는 청개구리 스타일이에요 왜 중요한지를 알지 못하면 하지를 않아요.. 그래서 ElasticSearch로 대시보드 만드는 예시를 찾아보던 중 지하철 대시보드를 따라하기로 했어요 Elastic에서 엔지니어로 일하고 계신 갓종민..

모든 AI 분야에서는 학습 데이터셋을 준비하는게 큰 과제입니다 Vision 분야에서도 데이터셋을 만들 방법이 Gann등 여러가지가 있지만3D 데이터를 이용해 2D 이미지 셋을 만드는 방법에 대해 고민해보았습니다 가설3D 데이터로 생성한 Vision Datset을 이용해, 현실 세계에서도 탐지가 되는지 확인한다.조건2GB 이내 3D 데이터 -> 개인 컴퓨터로 진행하기 때문에 용량이 너무 크면 인식을 못할 듯 1. 데이터 준비 * 3D 데이터셋이름: 금제 관모형식: FBX크기: 1.4GB출처: https://digital.khs.go.kr/heritage/heriTage.do 2D 데이터셋- 비슷하게 생겼지만 약간 다른 관모, 이걸 구분할 수 있을지 테스트해보려고 합니다 2. 3D -> 2D 변환 ..