'데이터 엔지니어'로 성장하기

정리하는 걸 좋아하고, 남이 읽으면 더 좋아함

vm 2

Proxmox) 클러스터 구성해보기_하나의 Web으로 상태 확인

최근 Proxmox를 이용해 집에서 미니 클러스터를 꾸려보고 있습니다.미니 PC 1대, 노트북 1대를 가지고 놀다 보니 자연스럽게 "클러스터링" 기능에 관심이 생겼는데요.→ 클러스터링에 대한 자료 조사와 실제 실습으로 구성했습니다. 예상 독자는 아래와 같습니다.1. Proxmox 클러스터링이 궁금한 분2. Clustering을 따라해보실 분1. 예시 시나리오 (집에서 실험 중)노드1: 미니 PC / Proxmox VE 설치노드2: 노트북 / Proxmox VE 설치두 노드를 클러스터 구성해서 Proxmox GUI에서 통합 관리NAS 또는 외장 SSD(NFS/Samba) 공유 스토리지를 활용해 VM 이동도 실험2. Clustering 개념 비교시스템목적 / 특징Proxmox VE여러 물리 서버(VE 노드)..

기타/Xen,Proxmox 2025.04.19

Spark) Spark Base Image Docker Build(VM, 내부망)

spark image를 만드는 법과 VM,내부망안에서 제가 겪은 경험을 공유하려 해요 별거 아니지만 처음에 할 때는 너무 막막했었어요 ㅎ 글을 구조는 아래와 같아요 1. 상황 spark image를 만들기 VM, 내부망에서 build 실패 2. 해결 spark-3.1.2-bin-hadoop3.2/kubernetes/Dockerfile Sources.list 주석 HTTP_PROXY, HTTPS_PROXY 설정 kubernetes/dockerfiles/spark/bindings/python/Dockerfile pypi.org를 신뢰할 수 있는 host HTTP_PROXY, HTTPS_PROXY 설정 1. 상황 spark image를 만들기 spark를 실행하는 base image를 만들 때 인프라 상황이 ..

Data/Spark 2021.11.11