'데이터 엔지니어'로 성장하기

정리하는 걸 좋아하고, 남이 읽으면 더 좋아함

분류 전체보기 163

AI-Vision) 데이터 엔지니어 AI 도전기 (1)_Semantic Segmentation #Unet #Instance와 차이

처음 Vision Model을 공부하다가, Yolo를 보면서 쉬워 보여 무시했는데Unet을 하면서 당황했던 경험을 정리했습니다 ( 이 글은 모델의 원리보다는 사용에 초점을 맞춥니다. ) .예상 독자는 아래와 같습니다.YOLO 말고 다른 Vision Model을 쓰시려는 분Semantic Segmentation을 처음 시작하는 분Unet을 처음부터 떠먹여 줄 글을 찾는 분.목차는 아래와 같습니다Semantic이란 무엇인가요? (Instance와 비교)데이터셋 구조는 어떻게 되나요? (Original & mask)Prediction은 어떻게 나오나요? (Binary vs Multi-class).제 목표는 아래와 같습니다.이 글을 끝까지 읽으면, 아래 그림이 무엇을 뜻하는..

AI/Vision 2024.04.14

데이터 잡부의 MLOps도전기 (3) - 모델 배포를 위해 FaaS를 세팅해보자 #Nuclio

Model의 동적 배포를 위해서, FaaS를 도입한 이야기를 적어봤습니다. 글의 구조는 아래와 같습니다.Nuclio가 무엇인가요?왜 굳이 Nuclio인가요?CVAT과 어떻게 연동을 하나요?. 글의 타깃 독자는 아래와 같습니다.Nuclio(FaaS)에 대해 궁금하신 분Vision ML 인퍼런싱을 고려하는 분CVAT을 사용하시는 분 지난 포스팅에서는 아래 2가지를 적었고Vision MLOps 프로젝트 투입: https://mightytedkim.tistory.com/205라벨링 툴로 CVAT을 선택한 이유: https://mightytedkim.tistory.com/206이번에는 `동적 모델링`을 위해 ‘FaaS’인 ‘Nuclio’를 도입한 내용을 적었어요. 1. Nuclio가 뭐에요?nuclio는 FaaS..

AI/MLOps 2024.03.31

스타트업에서 POC를 위해 논문 참고하는 법_AR Glass,원격협업

회사에서 최근 원격 협업 시스템 POC를 진행하고 있어요 Hololens2, Quest3, TCL 등의 AR glass를 이용해서, 원격으로 협업할 수 있는 샘플 프로젝트를 만들어야해요. 너무 막막한 상황 속에서... 구글링하다가 도움을 받은 논문을 정리해보려고 해요. 인천대학교에서 작성한 것으로, 건설 현장에서의 원격 협업 시스템 개발에 대해 이야기를 해요. 먼저 GPT가 요약한 내용을 보고, 제가 인사이트를 얻은 부분에 대해서 정리하려고 합니다. # 논문 요약 (GPT) 이 연구는 혼합 현실(Mixed Reality, MR)을 기반으로 한 건설 현장 관리를 위한 원격 협업 시스템 개발에 관한 것입니다. 건축 정보 모델링(BIM)의 데이터 호환성을 활용하고, MR 기술을 통해 실세계 객체 위에 3D 가..

기타 2024.03.17

k8s) cka 자격증 후기_칠지말지 고민될 때 보면 좋을 내용

업무에 쿠버네티스를 많이 사용하고 있는데, 알고 있는 것을 점검하고자 자격증을 공부했어요 인강은 작년에 Udemy를 들엇지만, 1년짜리 유효기간이 시험이라 끝까지 미루다가 얼마전에 시험을 쳤어요 ㅎ 예상 독자는 다음과 같습니다. CKA 시험을 치려고 고민하시는 분 읽고 얻으실 수 있는건 아래와 같아요 시험을 쳐야할지 말아야지 결정에 필요한 정보 1. 쿠버네티스 자격증이란? Linux foundation에서 제공하는 여러 자격들 중 하나에요 CKAD, CKA, CKS 등이 있어요 2. 공부 전 알아야하는 내용 시험을 치는 이유 ( 지식 습득 > 취업 스펙 ) 많은 사람들이 UDEMY에서 인강 듣고, 그냥 치면 딸 수 있는 시험이라고 해요. 그래서 쉬워 보이는데 생각보다 준비기간이 오래 걸립니다. 쿠버네티..

기타/K8S 2024.02.04

데이터 잡부의 MLOps도전기 (2) - 라벨링 툴로 CVAT을 선택한 이유 #VISION

라벨링 툴로 왜 CVAT을 선택했는지 정리했습니다 :) 글의 구조는 아래와 같습니다.CVAT이 뭐에요?선택한 이유는 뭐에요?아쉬운 점은 뭐에요?. 글의 타깃 독자는 아래와 같습니다.Labeling 툴 도입을 고민하시는 분CVAT을 사용하시는 분CVAT 도입을 고민하시는 분. 지난 포스팅에서는 Vision MLOps 프로젝트에 투입된 배경에 대해서 정리했어요 https://mightytedkim.tistory.com/205 데이터 잡부의 도전기 #Vision#CVAT#Nuclio23년 하반기는 힘들었지만 재미있었어요. 새로운 분야를 접했거든요 '데이터 잡부'의 도전에 대해 정리하려 합니다 :) 글의 구조는 아래와 같습니다. 원래 하던 업무 (pipeline) 제안받은 업무 (MLops)mightytedki..

AI/MLOps 2024.01.21

데이터 잡부의 MLOps도전기 (1) #이미지 불량탐지

23년 하반기는 힘들었지만 재미있었어요. 새로운 분야를 접했거든요 '데이터 잡부'의 도전에 대해 정리하려 합니다 :) 글의 구조는 아래와 같습니다. 원래 하던 업무 (pipeline) 제안받은 업무 (MLops) 수락하게 된 이유 . 글의 타깃 독자는 아래와 같습니다. MLops/AI 분야 병아리를 구경 온 선배님들 이제 MLops/AI 분야를 들어오려는 동지들 폐쇄망에서 어찌 진행했는지 궁금한 엔지니어들 . 자 이제 들어갑니다. 1. 원래 하던 업무 (pipeline) 폐쇄망에서, 해외 공장들의 data를 실시간으로 수집하는 pipeline 구축 #kafka, nifi, airflow, K8s, Ceph 기존에는 파이프라인 구축 업무를 했어요 처음 2년은 재미있었는데, 시간이 지나면서 매너리즘에 빠졌어..

AI/MLOps 2024.01.07

글또 9기 스타트 - "여러분 커피 마셔요"

안녕하세요! 난쏘공입니다. 3년 전부터 글쓰기 모임에 참여하고 있는데 기수마다 `목표`와 `글감`을 정리하며 시작하고 있어요,[5기, 20.11 ~ 21.05] - 글쓰는 습관 만들자! (ELK, mongodb, docker)[6기, 21.11 ~ 22.05] - 개발자 인맥 만들자! (kubernetes, Airflow, Spark)[7기, 22.05 ~ 22.11] - 글또콘에서 발표 해보자! (superset, trino, k8s)[8기, 23.02 ~ 23.08] - 사이드 프로젝트 해보자! (k8s, strimzi, questdb, argocd)이번 기수에서는 커피챗으로 글또 분들을 많이 만나고, vision 플랫폼을 만들며 사용한 오픈소스들에 대해 포스팅 할 예정입니다.[9기, 23.12 ~ ..

커뮤니티/글또 2023.11.27

Kubernetes) Container안에서, Image 빌드 가능한가요? (Part 2: Kaniko)

지난 포스팅에서는 Docker in Docker를 이용해서 image를 빌드했어요. 그런데 굳이 Image 빌드만 하면되는데 docker를 사용해야할까요? 예상 독자는 아래와 같습니다. Image 빌드에 굳이 Docker를 쓰고 싶지 않으신 분 보안에 취약한 Docker in Docker를 사용하고 싶지 않으신 분 Kaniko가 궁금하신 분 목차 내용 1. Kaniko란? 홈페이지: https://github.com/GoogleContainerTools/kaniko 한줄 요약: kaniko is a tool to build container images from a Dockerfile, inside a container or Kubernetes cluster. image: gcr.io/kaniko-pro..

기타/K8S 2023.09.30

Kubernetes) Container안에서, Image 빌드 가능한가요? (Part 1: docker in docker)

항상 Docker build는 Jenkins나 Git Action을 사용해왔어요. 그런데 권한 이슈 때문에 이걸 사용하지 못하는 상황을 마주쳤습니다. Docker In Docker로 이 상황을 어떻게 우회했는지 정리해보았습니다 예상 독자는 아래와 같습니다. Docker In Docker 가 궁금하신 분 Docker Out of Docker를 사용 못하시는 분 K8S 엔진으로 cri-o를 사용하시는 분 목차 상황 설명 문제 해결 참고 내용 상황 설명 Server의 Docker 사용이 안됨 (보안상의 이유로) Docker out of Docker는 docker.sock 권한 이슈로 사용 못함 Image는 Build하고 repository에 Push 해야함 Nuclio의 nuctl의 경우 default가 do..

기타/K8S 2023.09.23

회고)23년 상반기_스타트업 합류 + 커뮤니티

마음대로 생각나느대로 적는 의식의 흐름 회고입니다. ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 저는 작년 말에 스타트업에 합류했어요 살면서 가장 다이나믹했던 시기를 정리해보려고 해요 스타트업 합류_데이터 엔지니어 HW 기반 스타트업의 AI플랫폼팀 빌딩 멤버로 시작 `반지형` 웨어러블 마우스를 만드는 회사에 합류했어요. 3차원 공간을 통제하겠다는 목표로 소형 컨트롤러를 만드는 회사인데. 더 정밀한 통제를 위해 SW팀을 빌딩 중이더라고요 https://www.youtube.com/watch?v=uHEO3xxgYrk 모든 스타트업들이 그러하겠지만, 격동의 시기에 합류했더라고요. 이전 회사에서는 당연했던 것들이 당연하지 않았거든요. - 채용 공고는 인사팀에 요청하면 되는 거였고, - 코드와 자료는 기존 시스템에 맞게 정..

커뮤니티/글또 2023.07.16