'데이터 엔지니어'로 성장하기

정리하는 걸 좋아하고, 남이 읽으면 더 좋아함

인기글

데이터 잡부의 MLOps도전기 (2) - 라벨링 툴로 CVAT을 선택한 이유 #VISION

라벨링 툴로 왜 CVAT을 선택했는지 정리했습니다 :) 글의 구조는 아래와 같습니다.CVAT이 뭐에요?선택한 이유는 뭐에요?아쉬운 점은 뭐에요?. 글의 타깃 독자는 아래와 같습니다.Labeling 툴 도입을 고민하시는 분CVAT을 사용하시는 분CVAT 도입을 고민하시는 분. 지난 포스팅에서는 Vision MLOps 프로젝트에 투입된 배경에 대해서 정리했어요 https://mightytedkim.tistory.com/205 데이터 잡부의 도전기 #Vision#CVAT#Nuclio23년 하반기는 힘들었지만 재미있었어요. 새로운 분야를 접했거든요 '데이터 잡부'의 도전에 대해 정리하려 합니다 :) 글의 구조는 아래와 같습니다. 원래 하던 업무 (pipeline) 제안받은 업무 (MLops)mightytedki..

MLOps 2024.01.21 0

proxmox) wifi로 연결해보기 (이유: 그냥)

최근에 Proxmox 스터디를 시작했어요. 나만의 사설 클라우드를 만들자! 라는 포부였고요.다행히 공감해주시는 분들 2명이 함께해주셨습니다 proxmox 설치이 부분은 간단하고 인터넷에 많이 나와있어서 생략할게요.다만 lan선이 꼭 있어야 합니다. 공식 문서에서도 굳이 wifi해야하냐고 할정도로  하지만 개발자들은 굳이 해야하냐에, 뭔가 정복 욕구가 나오죠 들어가기 전에 (proxmox wifi 연결)wifi 연결하기는 여타 linux 설정과 크게 다르지 않아요 제 환경은 아래와 같습니다.proxmox ve 8.3.4공유기 LGU+준비물wifi 연결이 가능한 pc/ notebooklan선명령어vim, net-tools, networkmanagerproxmox wifi 연결항상 두괄식이죠. 일단 저희가 목..

Xen,Proxmox 2025.03.15 0

Linux) ssh no matching MAC found 오류_해결

요약 ubuntu 22.04.1 을 설치하고 oracle linux 7.9에서 접근하려고 했는데 인증 오류("no matching MAC found" )가 났고 [-m mac_spec] 설정으로 해결했어요 $ ssh -m hmac-sha2-512 -A spc@10.***.70.41 문제 there's some incompatibility between the ssh client shipped with Windows and the server on Ubuntu 22.04. #사례1 # source, linux Oracle Linux Server release 7.6 # source, ssh OpenSSH_7.4p1, OpenSSL 1.0.2k-fips 26 Jan 2017 $ telnet 10.***.70..

Linux 2022.12.09 0

Docker) [해결] dial tcp: lookup docker on *.*.*.*:53: no such host_gitlab-runner

오류 해결 dial tcp: lookup docker on 19.32.192.11:53: no such host 상황 dind 안에서, docker login 안됨 $ docker login -u deet1107 -p ****** WARNING! Using --password via the CLI is insecure. Use --password-stdin. error during connect: Post http://docker:2375/v1.39/auth: dial tcp: lookup docker on **.*.***.**:53: no such host 조치 HTTP 프록시 설정 Variables: HTTPS_PROXY: http://***.219.61.252:8080 HTTP_PROXY: http..

Docker 2021.09.08 0

Linux) 오프라인 apt 설치

온프렘 내부망 세팅하던 중에, 제가 사용하는 apt 들이 없어서 설치했어요 나중에 까먹을까봐 기록해두려고요 환경은 아래와 같아요 - ubuntu 22.04 온라인 - tree, ifconfig, unzip 을 설치했어요 #온라인 다운로드 $ apt-get install --download-only unzip #다운로드 파일 확인 $ ll /var/cache/apt/archives | grep unzip unzip_6.0-26ubuntu3_amd64.deb 오프라인 #파일 복사 $ cd /var/cache/apt/archives $ cp ./etc/util/unzip_6.0-26ubuntu3_amd64.deb /var/cache/apt/archives/ #오프라인 설치 $ sudo dpkg -i unzip..

Linux 2022.11.06 0

linux) Curl의 proxy 설정_.curlrc

고정 ip, dns, proxy 설정까지 해서 ping, telnet, ssh가 되는데 curl이 안되더라고요..curlrc에 noproxy를 추가해서 적용했습니다 예상 독자는 아래와 같아요1. 네트워크 초보자2. vm 세팅하시는 분들 상황상황은 아래와 같았어요 > 정상$ curl  '' localhost:30071$ curl -x '' 172.17.172.36:30071$ export http_proxy='' & curl 172.17.172.36:30071 > 비정상# 계속 http_proxy로 감$ curl -x '' 172.17.172.36:30071Rebuilt URL to: 172.17.172.36:30071/* Trying 192.219.61.252...* TCP_NODELAY set* Con..

Linux 2022.10.12 0

최신글

more

(PROXMOX) 클러스터 구성해보기_하나의 Web으로 상태 확인

최근 Proxmox를 이용해 집에서 미니 클러스터를 꾸려보고 있습니다.미니 PC 1대, 노트북 1대를 가지고 놀다 보니 자연스럽게 "클러스터링" 기능에 관심이 생겼는데요.→ 클러스터링에 대한 자료 조사와 실제 실습으로 구성했습니다. 예상 독자는 아래와 같습니다.1. Proxmox 클러스터링이 궁금한 분2. Clustering을 따라해보실 분1. 예시 시나리오 (집에서 실험 중)노드1: 미니 PC / Proxmox VE 설치노드2: 노트북 / Proxmox VE 설치두 노드를 클러스터 구성해서 Proxmox GUI에서 통합 관리NAS 또는 외장 SSD(NFS/Samba) 공유 스토리지를 활용해 VM 이동도 실험2. Clustering 개념 비교시스템목적 / 특징Proxmox VE여러 물리 서버(VE 노드)..

Xen,Proxmox 2025.04.19 0

proxmox) wifi로 연결해보기 (이유: 그냥)

최근에 Proxmox 스터디를 시작했어요. 나만의 사설 클라우드를 만들자! 라는 포부였고요.다행히 공감해주시는 분들 2명이 함께해주셨습니다 proxmox 설치이 부분은 간단하고 인터넷에 많이 나와있어서 생략할게요.다만 lan선이 꼭 있어야 합니다. 공식 문서에서도 굳이 wifi해야하냐고 할정도로  하지만 개발자들은 굳이 해야하냐에, 뭔가 정복 욕구가 나오죠 들어가기 전에 (proxmox wifi 연결)wifi 연결하기는 여타 linux 설정과 크게 다르지 않아요 제 환경은 아래와 같습니다.proxmox ve 8.3.4공유기 LGU+준비물wifi 연결이 가능한 pc/ notebooklan선명령어vim, net-tools, networkmanagerproxmox wifi 연결항상 두괄식이죠. 일단 저희가 목..

Xen,Proxmox 2025.03.15 0

unzip parquet.gzip

import os import gzip import shutil # Define input and output base directories input_base_dir = "data"  # Folder where the compressed files are stored output_base_dir = "unzip"  # Destination folder for decompressed files # Walk through all directories for root, _, files in os.walk(input_base_dir):     for file in files:         if file.endswith(".parquet.gzip"):  # Process only .parquet.gzip fi..

비공개 2025.02.27 0

Superset) 4.0.x 시리즈 정리하기 (자동 설치script + github 코드)

앞의 superset 포스팅에서 설명했던내용을 정리한 스크립트를 공유하려합니다   예상 독자는 아래와 같습니다1. superset을 빠르게 실행해보려는 분2. 기본적인 커스터마이징이나 관리 방법을 알고 싶은 분1. 구성실제 구성은 단촐합니다.1. 설치 script2. 컨텐츠 script 2 설치 scripthttps://github.com/MightyTedKim/demo-superset_4.0.1/blob/main/run_install.sh  거두절미하고 실행합니다.  내부 구성은 엄청 간단해요start stop restart status#################################### Handle Script Arguments##################################..

Superset 2025.02.16 0