'데이터 엔지니어'로 성장하기

정리하는 걸 좋아하고, 남이 읽으면 더 좋아함

커뮤니티/글또

글또 9기 스타트 - "여러분 커피 마셔요"

MightyTedKim 2023. 11. 27. 00:11
728x90
반응형

안녕하세요! 난쏘공입니다.
 
3년 전부터 글쓰기 모임에 참여하고 있는데
기수마다 `목표`와 `글감`을 정리하며 시작하고 있어요,

  • [5기, 20.11 ~ 21.05] - 글쓰는 습관 만들자!  (ELK, mongodb, docker)
  • [6기, 21.11 ~ 22.05] - 개발자 인맥 만들자!  (kubernetes, Airflow, Spark)
  • [7기, 22.05 ~ 22.11] - 글또콘에서 발표 해보자! (superset, trino, k8s)
  • [8기, 23.02 ~ 23.08] - 사이드 프로젝트 해보자! (k8s, strimzi, questdb, argocd)

이번 기수에서는 커피챗으로 글또 분들을 많이 만나고,
vision 플랫폼을 만들며 사용한 오픈소스들에 대해 포스팅 할 예정입니다.

  • [9기, 23.12 ~ 24.05] - 커피챗으로 사람들 만나자!  (vision ai, nuclio, cvat)

1. 목표: 커피챗으로 사람들 만나자!

글또 처음 시작한 3년 전과 달리 많은 일들이 생겼어요
회사도 옮기고, 결혼해서 아빠도 되었어요.
예전에는 새벽까지 공부하는게 힘들지 않았는데, 이제는 아기 재우고 새벽에야 겨우 컴퓨터를 킬 수 있어요

아니요. 아직은 안 지쳣어요

하지만 매년 시간은 부족해지는 것을 느낍니다.
즉, 지금이 가장 여유로운 시기라는 거죠 ㅋㅋㅋㅋ
 
그래서 이번 글또에서는 거창한 목표보다, 
공통 관심사나 재미있어 보이는 글이 있으면 바로 DM날려서 커피 또는 술 약속 잡도록 하겟습니다.


2. 글감: vision platform - nuclio, cvat

제 업무는 원래 데이터 `상하차`인데, 올해 하반기에는 `활용` 관련 업무를 하게 되었어요.

원래 업무인 data 상하차

 
최근 3년 정도는 제조 분야에서 k8s를 도입했어요.
오프라인에 gitlab, harbor, k8s, argocd를 설치하며, 없는 자원에 파이프라인을 만들었거든요.
서버 5개로 시작했는데, 이제는 66대까지 늘어나서 뿌듯합니다ㅎㅎ
그러던 중 데이터 활용 분야를 해볼 생각이 없냐는 제안을 받았어요.
 
이미지 불량 탐지 프로젝트인데, 특이한 건 사용자가 현업이더라고요.
vision ai model을 web에서 click 몇번으로 실행하는 업무에요
opensource를 조사하고, 도입을 제안하는 역할을 맡고 있어요.
 
이 과정에서 공부한 오픈소스를 정리하려고 해요. 국내는 자료가 거의 없더라고요.
 

CVAT:  오픈소스 어노테이션 툴

  • 이건 소스 레벨까지 내려가서 공부했어요.
  • 모델 배포를 nuclio에 온전히 넘겼다는 것이 흥미로웠어요
web 기반 annotation 툴

 Nuclio: FaaS 플랫폼

  • MLRun에서 사용하고 있는 FaaS 엔진인데, 
    클라우드를 사용하지 못하는 폐쇄망에서 FaaS를 사용할 수 있다는 장점이 있어요
  • AI 모델 인퍼런싱 툴로 사용하고 있는데, 
    Kafka, GRPC 등에도 사용할 수 있어서 확장성이 높아요
  • 잘 몰라서 nuclio 개발자에게 직접 slack에 물어보며 문제를 해결했어요
nuclio 개발자인 Thomer Shor 형아도, mlrun 쓰라고 추천해요

 
 
 

3. 마무리: 일단 스타트는 화이팅 넘치게

이전 기수 다짐글들은 어떤 글을 쓰겠다. 시리즈 형식으로 쓰겠다.
포부가 있었는데. 이제는 편하게 쓰고 싶은 글을 쓰려고요.
대신 저는 이 글을 읽는 여러분과 커피(술)을 마시겠습니다ㅎㅎㅎㅎ

일단 지르고 봐야한다고 생각합니다. 어찌되겄죠ㅋㅋㅋ

728x90
반응형