'데이터 엔지니어'로 성장하기

정리하는 걸 좋아하고, 남이 읽으면 더 좋아함

인기글

데이터 잡부의 MLOps도전기 (2) - 라벨링 툴로 CVAT을 선택한 이유 #VISION

라벨링 툴로 왜 CVAT을 선택했는지 정리했습니다 :) 글의 구조는 아래와 같습니다.CVAT이 뭐에요?선택한 이유는 뭐에요?아쉬운 점은 뭐에요?. 글의 타깃 독자는 아래와 같습니다.Labeling 툴 도입을 고민하시는 분CVAT을 사용하시는 분CVAT 도입을 고민하시는 분. 지난 포스팅에서는 Vision MLOps 프로젝트에 투입된 배경에 대해서 정리했어요 https://mightytedkim.tistory.com/205 데이터 잡부의 도전기 #Vision#CVAT#Nuclio23년 하반기는 힘들었지만 재미있었어요. 새로운 분야를 접했거든요 '데이터 잡부'의 도전에 대해 정리하려 합니다 :) 글의 구조는 아래와 같습니다. 원래 하던 업무 (pipeline) 제안받은 업무 (MLops)mightytedki..

MLOps 2024.01.21 0

Kubernetes) Forbidden User 보는 방법_role,sa

Forbidden 에러, clusterrole과 serviceaccount로 해결 clusterrole과 serviceaccount 확인하기 spark 테스트하는 도중 권한 관련 로그를 접했어요 #kubernetes.client.rest.ApiException: (403) #Reason: Forbidden #HTTP response headers: HTTPHeaderDict({'Cache-Control': 'no-cache, private', 'Content-Type': 'application/json', 'X-Content-Type-Options': 'nosniff', 'Date': 'Fri, 19 Nov 2021 06:50:38 GMT', 'Content-Length': '417'}) #HTTP re..

K8S 2021.11.23 0

Linux) 오프라인 apt 설치

온프렘 내부망 세팅하던 중에, 제가 사용하는 apt 들이 없어서 설치했어요 나중에 까먹을까봐 기록해두려고요 환경은 아래와 같아요 - ubuntu 22.04 온라인 - tree, ifconfig, unzip 을 설치했어요 #온라인 다운로드 $ apt-get install --download-only unzip #다운로드 파일 확인 $ ll /var/cache/apt/archives | grep unzip unzip_6.0-26ubuntu3_amd64.deb 오프라인 #파일 복사 $ cd /var/cache/apt/archives $ cp ./etc/util/unzip_6.0-26ubuntu3_amd64.deb /var/cache/apt/archives/ #오프라인 설치 $ sudo dpkg -i unzip..

Linux 2022.11.06 0

데이터 잡부의 MLOps도전기 (3) - 모델 배포를 위해 FaaS를 도입해보자 #Nuclio

Model의 동적 배포를 위해서, FaaS를 도입한 이야기를 적어봤습니다. 글의 구조는 아래와 같습니다.Nuclio가 무엇인가요?왜 굳이 Nuclio인가요?CVAT과 어떻게 연동을 하나요?.글의 타깃 독자는 아래와 같습니다.Nuclio(FaaS)에 대해 궁금하신 분Vision ML 인퍼런싱을 고려하는 분CVAT을 사용하시는 분지난 포스팅에서는 아래 2가지를 적었고Vision MLOps 프로젝트 투입: https://mightytedkim.tistory.com/205라벨링 툴로 CVAT을 선택한 이유: https://mightytedkim.tistory.com/206이번에는 `동적 모델링`을 위해 ‘FaaS’인 ‘Nuclio’를 도입한 내용을 적었어요.1. Nuclio가..

MLOps 2024.03.31 1

데이터 잡부의 MLOps도전기 (4) - 모델 배포를 위해 FaaS를 실행해보자_Nuclio

Model의 동적 배포를 위해서, FaaS를 도입한 이야기를 정리하는 중입니다.nuclio 기본 개념을 더 설명해야할 것 같아서 이번 글은 기초를 설명합니다 글의 구조는 아래와 같습니다.Nuclio 설치 방법Nuclio 실행 방법 - python hello worldNuclio 실행 방법 - vision - facebook (Segmenation Anyting Model)글의 타깃 독자는 아래와 같습니다.Nuclio 설치가 궁금하신 분Nuclio hello world가  궁금하신 분지난 포스팅에서는 아래 3가지를 적었고Vision MLOps 프로젝트 투입: https://mightytedkim.tistory.com/205라벨링 툴로 CVAT을 선택한 이유: https://mightytedkim.tisto..

MLOps 2024.04.28 3

최신글

more

unzip parquet.gzip

import os import gzip import shutil # Define input and output base directories input_base_dir = "data"  # Folder where the compressed files are stored output_base_dir = "unzip"  # Destination folder for decompressed files # Walk through all directories for root, _, files in os.walk(input_base_dir):     for file in files:         if file.endswith(".parquet.gzip"):  # Process only .parquet.gzip fi..

비공개 2025.02.27 0

Superset) 4.0.x 시리즈 정리하기 (자동 설치script + github 코드)

앞의 superset 포스팅에서 설명했던내용을 정리한 스크립트를 공유하려합니다   예상 독자는 아래와 같습니다1. superset을 빠르게 실행해보려는 분2. 기본적인 커스터마이징이나 관리 방법을 알고 싶은 분1. 구성실제 구성은 단촐합니다.1. 설치 script2. 컨텐츠 script 2 설치 scripthttps://github.com/MightyTedKim/demo-superset_4.0.1/blob/main/run_install.sh  거두절미하고 실행합니다.  내부 구성은 엄청 간단해요start stop restart status#################################### Handle Script Arguments##################################..

Superset 2025.02.16 0

Superset) 4.0.2 커스터마이징하기(2)_Logo,Role

1. 들어가기 전에지난 포스팅에서는 superset 설치와 설정값을 어떻게 세팅하는지 이야기했어요. Superset) 4.0.2 커스터마이징하기(1)_Flag,Theme,LandingPage지난 포스팅에서는  superset 4.x 버전에 대해서 간단하게 알아봤어요. Superset) 너 왜이렇게 버전업이 빠르니? (7개월 만에 2.1에서 4.0)작년에 superset POC하고 올해 적용하기로 했어요예전에 2.1 버전mightytedkim.tistory.com 이번에는 설정값 관련되서 좀 더 이야기해보려고 합니다.  예상 독자는 아래와 같습니다.1. Superset Logo 변경하고 싶으신 분2. Superset Role 설정하고 싶으신 분1. Superset Logo 변경빠르게 로고를 변경해보죠 ㅎ1..

Superset 2025.01.05 0

Superset) 4.0.2 커스터마이징하기(1)_Flag,Theme,LandingPage

지난 포스팅에서는  superset 4.x 버전에 대해서 간단하게 알아봤어요. Superset) 너 왜이렇게 버전업이 빠르니? (7개월 만에 2.1에서 4.0)작년에 superset POC하고 올해 적용하기로 했어요예전에 2.1 버전을 설치했는데, 지금 보니 4.1 이더라고요 오늘 포스팅에서는 각 버전 별 특징과실제 느낀 차이점에 대해 이야기할 예정입니다. 예mightytedkim.tistory.com 이번에는 간단한 설치부터, 적용한 설정값들에 대해서 다뤄볼게요.0. 들어가기 전에예상 독자는 아래와 같습니다.1. superset 4.x를 docker-compose로 실행하고 싶은 분2. docker-compose 설정값에서 알아야하는 것 1. superset 설치하기- 공식 문서: https://sup..

Superset 2024.12.22 0