'데이터 엔지니어'로 성장하기

정리하는 걸 좋아하고, 남이 읽으면 더 좋아함

인기글

데이터 잡부의 MLOps도전기 (2) - 라벨링 툴로 CVAT을 선택한 이유 #VISION

라벨링 툴로 왜 CVAT을 선택했는지 정리했습니다 :) 글의 구조는 아래와 같습니다.CVAT이 뭐에요?선택한 이유는 뭐에요?아쉬운 점은 뭐에요?. 글의 타깃 독자는 아래와 같습니다.Labeling 툴 도입을 고민하시는 분CVAT을 사용하시는 분CVAT 도입을 고민하시는 분. 지난 포스팅에서는 Vision MLOps 프로젝트에 투입된 배경에 대해서 정리했어요 https://mightytedkim.tistory.com/205 데이터 잡부의 도전기 #Vision#CVAT#Nuclio23년 하반기는 힘들었지만 재미있었어요. 새로운 분야를 접했거든요 '데이터 잡부'의 도전에 대해 정리하려 합니다 :) 글의 구조는 아래와 같습니다. 원래 하던 업무 (pipeline) 제안받은 업무 (MLops)mightytedki..

MLOps 2024.01.21 0

proxmox) wifi로 연결해보기 (이유: 그냥)

최근에 Proxmox 스터디를 시작했어요. 나만의 사설 클라우드를 만들자! 라는 포부였고요.다행히 공감해주시는 분들 2명이 함께해주셨습니다 proxmox 설치이 부분은 간단하고 인터넷에 많이 나와있어서 생략할게요.다만 lan선이 꼭 있어야 합니다. 공식 문서에서도 굳이 wifi해야하냐고 할정도로  하지만 개발자들은 굳이 해야하냐에, 뭔가 정복 욕구가 나오죠 들어가기 전에 (proxmox wifi 연결)wifi 연결하기는 여타 linux 설정과 크게 다르지 않아요 제 환경은 아래와 같습니다.proxmox ve 8.3.4공유기 LGU+준비물wifi 연결이 가능한 pc/ notebooklan선명령어vim, net-tools, networkmanagerproxmox wifi 연결항상 두괄식이죠. 일단 저희가 목..

Xen,Proxmox 2025.03.15 0

Airflow) celery worker 환경 구성하기

airflow는 airbnb에서 만든 workflow 관리 플랫폼이에요 - 배치 파일을 순차적으로 돌릴 수도 있어요 - 이쁜 젠킨스 최근에 공부를 하게되면서 알게된 구조와 centos7에서 테스트한 예시를 메모하려고해요 airflow hello-world하면서 느낀점은 여기에 정리했어요 :) Airflow) 공부 및 적용기(메모) 최근에 airflow를 공부하고 있어요. 원래는 kubernertes의 설정 파일을 던지는 친구로 알고 보고 있엇는데, 배치파일 돌리는 작업으로 세팅 중이에요 이제 며칠봐서 틀릴 수도 있지만 제가 공부한 내 mightytedkim.tistory.com 구성 airflow webserver - airflow UI - workflow 상태 표시하고 실행, 재시작, 수동 조작, 로그..

Airflow 2021.10.12 0

Linux) ssh no matching MAC found 오류_해결

요약 ubuntu 22.04.1 을 설치하고 oracle linux 7.9에서 접근하려고 했는데 인증 오류("no matching MAC found" )가 났고 [-m mac_spec] 설정으로 해결했어요 $ ssh -m hmac-sha2-512 -A spc@10.***.70.41 문제 there's some incompatibility between the ssh client shipped with Windows and the server on Ubuntu 22.04. #사례1 # source, linux Oracle Linux Server release 7.6 # source, ssh OpenSSH_7.4p1, OpenSSL 1.0.2k-fips 26 Jan 2017 $ telnet 10.***.70..

Linux 2022.12.09 0

Kubernetes) k8s와 Airflow 이용한 spark작업_SparkKubernetesOperator

요약 1. kubenetes 환경에서 airflow를 이용해 spark_submit을 함 2. SparkKubernetesOpertor(SKO)를 선택함 개요 상황 쿠버네티스 클러스터 환경에서 spark_submit 관리 필요 후보 (3가지) KubernetePodOperator(KPO) : dag SparkApplication(CRD) : yaml SparkKubernetesOperator(SKO) : yaml + dag 최종 결과 (SKO) command script/scample/sample-sko-spark.yaml dags/sample/sample-sko-spark.py 시행착오 (FYI) SKO) role 권한 때문에 Forbidden 에러 SKO) sensor의 task_id 때문에 에러 S..

Airflow 2021.11.25 14

Kubernetes) Forbidden User 보는 방법_role,sa

Forbidden 에러, clusterrole과 serviceaccount로 해결 clusterrole과 serviceaccount 확인하기 spark 테스트하는 도중 권한 관련 로그를 접했어요 #kubernetes.client.rest.ApiException: (403) #Reason: Forbidden #HTTP response headers: HTTPHeaderDict({'Cache-Control': 'no-cache, private', 'Content-Type': 'application/json', 'X-Content-Type-Options': 'nosniff', 'Date': 'Fri, 19 Nov 2021 06:50:38 GMT', 'Content-Length': '417'}) #HTTP re..

K8S 2021.11.23 0

최신글

more

Proxmox) Nignx Proxy Manager,나만의 domain 설정하기 (리버스 프록시)

nginx proxy manager를 통해 리버스 프록시를 구현하려고 합니다 이유는 매번 공유기에서 포트포워딩하기 싫으니까! 1. Nginx Proxy Manager 설치하기일단 설치는 script를 통해 한줄로 후딱해줍니다 ```bash -c "$(curl -fsSL https://raw.githubusercontent.com/community-scripts/ProxmoxVE/main/ct/nginxproxymanager.sh)"``` script는 https://community-scripts.github.io/ProxmoxVE/ 여기에서 보면되요 엔터 누르다보면 설치가됩니다. ip가 113이네요. 혹시 모르니까 고정해줄게요 기본적인 apt install 해줍니다 ps -ef로 보면 openresty..

Xen,Proxmox 2025.05.10 0

Proxmox) Proxmox 스토리지 완전 재구성기(lvm-thin, directory)

Proxmox 스토리지 완전 재구성기128GB SSD와 2TB NVMe SSD를 활용해 Proxmox VE 운영 환경을 최적화했습니다. SSD는 OS용으로만, NVMe는 VM, 컨테이너, ISO, 백업에 전용으로 사용하는 구조입니다.📆 목적 및 구성 개요항목장치포맷목적SSD (128GB)/dev/sdaext4Proxmox OS 전용NVMe (2TB)/dev/nvme0n1LVM-thin + ext4VM / 컨테이너 / ISO / 백업 전용== 1. NVMe 디스크 파티션 재구성 ==💣 기존 파티션 제거umount /mnt/datawipefs -a /dev/nvme0n1⚖ GPT 파티션 생성 (900G + 900G)parted /dev/nvme0n1(parted) mklabel gpt(parted) mk..

Xen,Proxmox 2025.05.06 0

Proxmox) 외부에서 private ip 접근이 가능하다고? (openvpn)

스터디를 진행하는데각자 집에 설치한 proxmox에 접속해 테스트하기가 쉽지 않더라고요그래서 openvpn을 이용해서 그 환경을 만들어 봤습니다. 먼저 Openvpn이 무엇인지 알아보겠습니다. 1. OpenVPN이란?OpenVPN은 오픈소스 기반의 가상 사설망(VPN) 소프트웨어로,인터넷을 통해 두 네트워크 또는 사용자와 네트워크 간에 암호화된 보안 통신 터널을 만들어줍니다. 활용 사례설명🏠 원격 근무집이나 외부에서 회사 내부 네트워크에 안전하게 접속🏢 지사 간 연결본사와 지사를 인터넷을 통해 하나의 내부 네트워크처럼 연결☁️ 클라우드 보안 접속AWS, Azure 등 클라우드 서버와의 안전한 접속 통로 제공🧑‍💻 관리자 접속용외부에서 Proxmox나 사설 서비스 접속 시 보안 강화📶 공공 와이파..

Xen,Proxmox 2025.05.06 0

Proxmox) 클러스터 구성해보기_하나의 Web으로 상태 확인

최근 Proxmox를 이용해 집에서 미니 클러스터를 꾸려보고 있습니다.미니 PC 1대, 노트북 1대를 가지고 놀다 보니 자연스럽게 "클러스터링" 기능에 관심이 생겼는데요.→ 클러스터링에 대한 자료 조사와 실제 실습으로 구성했습니다. 예상 독자는 아래와 같습니다.1. Proxmox 클러스터링이 궁금한 분2. Clustering을 따라해보실 분1. 예시 시나리오 (집에서 실험 중)노드1: 미니 PC / Proxmox VE 설치노드2: 노트북 / Proxmox VE 설치두 노드를 클러스터 구성해서 Proxmox GUI에서 통합 관리NAS 또는 외장 SSD(NFS/Samba) 공유 스토리지를 활용해 VM 이동도 실험2. Clustering 개념 비교시스템목적 / 특징Proxmox VE여러 물리 서버(VE 노드)..

Xen,Proxmox 2025.04.19 0

proxmox) wifi로 연결해보기 (이유: 그냥)

최근에 Proxmox 스터디를 시작했어요. 나만의 사설 클라우드를 만들자! 라는 포부였고요.다행히 공감해주시는 분들 2명이 함께해주셨습니다 proxmox 설치이 부분은 간단하고 인터넷에 많이 나와있어서 생략할게요.다만 lan선이 꼭 있어야 합니다. 공식 문서에서도 굳이 wifi해야하냐고 할정도로  하지만 개발자들은 굳이 해야하냐에, 뭔가 정복 욕구가 나오죠 들어가기 전에 (proxmox wifi 연결)wifi 연결하기는 여타 linux 설정과 크게 다르지 않아요 제 환경은 아래와 같습니다.proxmox ve 8.3.4공유기 LGU+준비물wifi 연결이 가능한 pc/ notebooklan선명령어vim, net-tools, networkmanagerproxmox wifi 연결항상 두괄식이죠. 일단 저희가 목..

Xen,Proxmox 2025.03.15 0