'데이터 엔지니어'로 성장하기

정리하는 걸 좋아하고, 남이 읽으면 더 좋아함

mlops 4

데이터 잡부의 MLOps도전기 (4) - 모델 배포를 위해 FaaS를 실행해보자_Nuclio

Model의 동적 배포를 위해서, FaaS를 도입한 이야기를 정리하는 중입니다.nuclio 기본 개념을 더 설명해야할 것 같아서 이번 글은 기초를 설명합니다 글의 구조는 아래와 같습니다.Nuclio 설치 방법Nuclio 실행 방법 - python hello worldNuclio 실행 방법 - vision - facebook (Segmenation Anyting Model)글의 타깃 독자는 아래와 같습니다.Nuclio 설치가 궁금하신 분Nuclio hello world가  궁금하신 분지난 포스팅에서는 아래 3가지를 적었고Vision MLOps 프로젝트 투입: https://mightytedkim.tistory.com/205라벨링 툴로 CVAT을 선택한 이유: https://mightytedkim.tisto..

AI/MLOps 2024.04.28

데이터 잡부의 MLOps도전기 (3) - 모델 배포를 위해 FaaS를 도입해보자 #Nuclio

Model의 동적 배포를 위해서, FaaS를 도입한 이야기를 적어봤습니다. 글의 구조는 아래와 같습니다.Nuclio가 무엇인가요?왜 굳이 Nuclio인가요?CVAT과 어떻게 연동을 하나요?.글의 타깃 독자는 아래와 같습니다.Nuclio(FaaS)에 대해 궁금하신 분Vision ML 인퍼런싱을 고려하는 분CVAT을 사용하시는 분지난 포스팅에서는 아래 2가지를 적었고Vision MLOps 프로젝트 투입: https://mightytedkim.tistory.com/205라벨링 툴로 CVAT을 선택한 이유: https://mightytedkim.tistory.com/206이번에는 `동적 모델링`을 위해 ‘FaaS’인 ‘Nuclio’를 도입한 내용을 적었어요.1. Nuclio가..

AI/MLOps 2024.03.31

데이터 잡부의 MLOps도전기 (1) #이미지 불량탐지

23년 하반기는 힘들었지만 재미있었어요. 새로운 분야를 접했거든요 '데이터 잡부'의 도전에 대해 정리하려 합니다 :) 글의 구조는 아래와 같습니다. 원래 하던 업무 (pipeline) 제안받은 업무 (MLops) 수락하게 된 이유 . 글의 타깃 독자는 아래와 같습니다. MLops/AI 분야 병아리를 구경 온 선배님들 이제 MLops/AI 분야를 들어오려는 동지들 폐쇄망에서 어찌 진행했는지 궁금한 엔지니어들 . 자 이제 들어갑니다. 1. 원래 하던 업무 (pipeline) 폐쇄망에서, 해외 공장들의 data를 실시간으로 수집하는 pipeline 구축 #kafka, nifi, airflow, K8s, Ceph 기존에는 파이프라인 구축 업무를 했어요 처음 2년은 재미있었는데, 시간이 지나면서 매너리즘에 빠졌어..

AI/MLOps 2024.01.07

youtube)카일 스쿨 데이터 엔지니어 직군 소개

글또장이신 카일님의 카일 스쿨 유투브 보고 메모 최근하고 있는 고민들을 너무 잘 정리해주셔서 재미있게 앉은 자리에서 3개를 다 봤어요, [카일데이] 요즘 데이터 분석가의 현실, 데이터 분석 직군의 세분화 트렌드 https://www.youtube.com/watch?v=mzOWMax9Sxc 경계가 명확하지 않은 직군들에 대한 카일님의 생각을 알 수 있었고, 그림과 함께라서 이해하기 더 좋았음 1. 직군의 구체화 - 데이터 조직이 생기기 시작함 - 데이터 리터러시 중요성 대두 2. 진입 장벽 낮아짐 - cloud -> hadoop, spark의 러닝커브를 낮춤 3. 직군 - 제품(앱,웹) -> product analyst - 예측 모델 -> data scientist - 데이터 분석가, 데이터 엔지니어 --..

기타 2022.02.21