'데이터 엔지니어'로 성장하기

정리하는 걸 좋아하고, 남이 읽으면 더 좋아함

인기글

Proxmox) Proxmox 스토리지 완전 재구성기(lvm-thin, directory)

Proxmox 스토리지 완전 재구성기128GB SSD와 2TB NVMe SSD를 활용해 Proxmox VE 운영 환경을 최적화했습니다. SSD는 OS용으로만, NVMe는 VM, 컨테이너, ISO, 백업에 전용으로 사용하는 구조입니다.📆 목적 및 구성 개요항목장치포맷목적SSD (128GB)/dev/sdaext4Proxmox OS 전용NVMe (2TB)/dev/nvme0n1LVM-thin + ext4VM / 컨테이너 / ISO / 백업 전용== 1. NVMe 디스크 파티션 재구성 ==💣 기존 파티션 제거umount /mnt/datawipefs -a /dev/nvme0n1⚖ GPT 파티션 생성 (900G + 900G)parted /dev/nvme0n1(parted) mklabel gpt(parted) mk..

Xen,Proxmox 2025.05.06 0

proxmox) wifi로 연결해보기 (이유: 그냥)

최근에 Proxmox 스터디를 시작했어요. 나만의 사설 클라우드를 만들자! 라는 포부였고요.다행히 공감해주시는 분들 2명이 함께해주셨습니다 proxmox 설치이 부분은 간단하고 인터넷에 많이 나와있어서 생략할게요.다만 lan선이 꼭 있어야 합니다. 공식 문서에서도 굳이 wifi해야하냐고 할정도로 하지만 개발자들은 굳이 해야하냐에, 뭔가 정복 욕구가 나오죠 들어가기 전에 (proxmox wifi 연결)wifi 연결하기는 여타 linux 설정과 크게 다르지 않아요 제 환경은 아래와 같습니다.proxmox ve 8.3.4공유기 LGU+준비물wifi 연결이 가능한 pc/ notebooklan선명령어vim, net-tools, networkmanagerproxmox wifi 연결항상 두괄식이죠. 일단 저희가 목..

Xen,Proxmox 2025.03.15 0

GithubAction) Harbor에 푸시해보기

Github Action을 이용해 Harbor 에 푸시해봤습니다. harbor란? github Action을 통해 이미지 업로드 docker-hub 예시 harbor 예시 push to harbor by git action Harbor란? docker 사설 레포지토리 Docker Hub라는 공용 Docker Image 관리하지 않고, 사적인 장소 사용 github Action을 통해 이미지 업로드 둘다 docker/login-action@v1 을 사용 registry 입력하지 않으면 docker_hub가 default harbor를 사용할 때는 harbor 주소를 입력 (harbor.io예시) registry: demo.goharbor.io docker-hub 예시 name: v_test_docker_h..

GitAction 2021.08.31 0

k8s) cka 자격증 후기_칠지말지 고민될 때 보면 좋을 내용

업무에 쿠버네티스를 많이 사용하고 있는데, 알고 있는 것을 점검하고자 자격증을 공부했어요 인강은 작년에 Udemy를 들엇지만, 1년짜리 유효기간이 시험이라 끝까지 미루다가 얼마전에 시험을 쳤어요 ㅎ 예상 독자는 다음과 같습니다. CKA 시험을 치려고 고민하시는 분 읽고 얻으실 수 있는건 아래와 같아요 시험을 쳐야할지 말아야지 결정에 필요한 정보 1. 쿠버네티스 자격증이란? Linux foundation에서 제공하는 여러 자격들 중 하나에요 CKAD, CKA, CKS 등이 있어요 2. 공부 전 알아야하는 내용 시험을 치는 이유 ( 지식 습득 > 취업 스펙 ) 많은 사람들이 UDEMY에서 인강 듣고, 그냥 치면 딸 수 있는 시험이라고 해요. 그래서 쉬워 보이는데 생각보다 준비기간이 오래 걸립니다. 쿠버네티..

K8S 2024.02.04 1

회고)23년 상반기_스타트업 합류 + 커뮤니티

마음대로 생각나느대로 적는 의식의 흐름 회고입니다. ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 저는 작년 말에 스타트업에 합류했어요 살면서 가장 다이나믹했던 시기를 정리해보려고 해요 스타트업 합류_데이터 엔지니어 HW 기반 스타트업의 AI플랫폼팀 빌딩 멤버로 시작 `반지형` 웨어러블 마우스를 만드는 회사에 합류했어요. 3차원 공간을 통제하겠다는 목표로 소형 컨트롤러를 만드는 회사인데. 더 정밀한 통제를 위해 SW팀을 빌딩 중이더라고요 https://www.youtube.com/watch?v=uHEO3xxgYrk 모든 스타트업들이 그러하겠지만, 격동의 시기에 합류했더라고요. 이전 회사에서는 당연했던 것들이 당연하지 않았거든요. - 채용 공고는 인사팀에 요청하면 되는 거였고, - 코드와 자료는 기존 시스템에 맞게 정..

글또 2023.07.16 0

mc)mc cp와 mc mirror 차이

최근에 대용량 object stroage 파일 수십만개를 복사할 일이 생겼는데 그 때 mc cp와 mc mirror를 들여다 봤어요 + aws cli도 좋지만, mc(minio client)는 설치가 필요없이 압축만 풀면되는 agent 파일이어서 좋아요. (서버에 영향을 최소한으로 줄 수 있어서) 예상 독자 - mc(minio client)가 궁금한 분 - mc cp와 mc mirror의 차이가 궁금한 분 목차 1. mc cp는 뭐지 2. mc mirror는 뭐지 3. 두개의 차이점은 뭐지 4. 무엇을 적용했는지 1. mc cp는 뭐지 aws cli의 cp와 동일한 친구에요 단순히 복사하는 명령어로, 속도가 빠르고 단순하다는 장점이 있어요 하지만 boto3보다 안정적이라는거지, 수만개의 object를 이..

K8S 2023.01.09 1

최신글

more

독후감) 컨설팅 업계를 넓게 알 수 있는 입문서_거의 모든 컨설팅의 역사(김석태)

스타트업에서 컨설팅 회사로 이직을 했습니다테크 본부에서 기술 관련된 업무를 하겟지만,개발에서 컨설팅으로 커리어 전환을 하는 결심을 했습니다 컨설팅 관련되서 아는게 없어서 인터넷을 찾아봤어요.브런치에서 관련된 내용을 찾았어요https://brunch.co.kr/@5e2e49d12f394c2/8 B컷 구성 | # A컷 도서 목차 구성 는 경영컨설팅의 역사를 5개의 시대로 구분하고 각각의 시대를 대표하는 중요한 역사적 이벤트 5개를 중심" data-og-host="brunch.co.kr" data-og-source-url="https://brunch.co.kr/@5e2e49d12f394c2/8" data-og-url="https://brunch.co.kr/@5e2e49d12f394c2/undefined/@5e..

기타 2025.08.24 5

Vision) 3d 모델을 이용해 무한의 dataset을 생성할 수 있을까

모든 AI 분야에서는 학습 데이터셋을 준비하는게 큰 과제입니다 Vision 분야에서도 데이터셋을 만들 방법이 Gann등 여러가지가 있지만3D 데이터를 이용해 2D 이미지 셋을 만드는 방법에 대해 고민해보았습니다 가설3D 데이터로 생성한 Vision Datset을 이용해, 현실 세계에서도 탐지가 되는지 확인한다.조건2GB 이내 3D 데이터 -> 개인 컴퓨터로 진행하기 때문에 용량이 너무 크면 인식을 못할 듯 1. 데이터 준비 * 3D 데이터셋이름: 금제 관모형식: FBX크기: 1.4GB출처: https://digital.khs.go.kr/heritage/heriTage.do 2D 데이터셋- 비슷하게 생겼지만 약간 다른 관모, 이걸 구분할 수 있을지 테스트해보려고 합니다 2. 3D -> 2D 변환 ..

카테고리 없음 2025.05.26 0

Proxmox) Nignx Proxy Manager,나만의 domain 설정하기 (리버스 프록시)

nginx proxy manager를 통해 리버스 프록시를 구현하려고 합니다 이유는 매번 공유기에서 포트포워딩하기 싫으니까! 1. Nginx Proxy Manager 설치하기일단 설치는 script를 통해 한줄로 후딱해줍니다 ```bash -c "$(curl -fsSL https://raw.githubusercontent.com/community-scripts/ProxmoxVE/main/ct/nginxproxymanager.sh)"``` script는 https://community-scripts.github.io/ProxmoxVE/ 여기에서 보면되요 엔터 누르다보면 설치가됩니다. ip가 113이네요. 혹시 모르니까 고정해줄게요 기본적인 apt install 해줍니다 ps -ef로 보면 openresty..

Xen,Proxmox 2025.05.10 0

Proxmox) Proxmox 스토리지 완전 재구성기(lvm-thin, directory)

Proxmox 스토리지 완전 재구성기128GB SSD와 2TB NVMe SSD를 활용해 Proxmox VE 운영 환경을 최적화했습니다. SSD는 OS용으로만, NVMe는 VM, 컨테이너, ISO, 백업에 전용으로 사용하는 구조입니다.📆 목적 및 구성 개요항목장치포맷목적SSD (128GB)/dev/sdaext4Proxmox OS 전용NVMe (2TB)/dev/nvme0n1LVM-thin + ext4VM / 컨테이너 / ISO / 백업 전용== 1. NVMe 디스크 파티션 재구성 ==💣 기존 파티션 제거umount /mnt/datawipefs -a /dev/nvme0n1⚖ GPT 파티션 생성 (900G + 900G)parted /dev/nvme0n1(parted) mklabel gpt(parted) mk..

Xen,Proxmox 2025.05.06 0

Proxmox) 외부에서 private ip 접근이 가능하다고? (openvpn)

스터디를 진행하는데각자 집에 설치한 proxmox에 접속해 테스트하기가 쉽지 않더라고요그래서 openvpn을 이용해서 그 환경을 만들어 봤습니다. 먼저 Openvpn이 무엇인지 알아보겠습니다. 1. OpenVPN이란?OpenVPN은 오픈소스 기반의 가상 사설망(VPN) 소프트웨어로,인터넷을 통해 두 네트워크 또는 사용자와 네트워크 간에 암호화된 보안 통신 터널을 만들어줍니다. 활용 사례설명🏠 원격 근무집이나 외부에서 회사 내부 네트워크에 안전하게 접속🏢 지사 간 연결본사와 지사를 인터넷을 통해 하나의 내부 네트워크처럼 연결☁️ 클라우드 보안 접속AWS, Azure 등 클라우드 서버와의 안전한 접속 통로 제공🧑‍💻 관리자 접속용외부에서 Proxmox나 사설 서비스 접속 시 보안 강화📶 공공 와이파..

Xen,Proxmox 2025.05.06 0