'데이터 엔지니어'로 성장하기

정리하는 걸 좋아하고, 남이 읽으면 더 좋아함

기타 62

xen) xcp-ng 설치

가상화, vm들 쉽게 관리해주는 툴 https://xcp-ng.org/ 1. ISO 파일 다운로드 https://mirrors.xcp-ng.org/isos/8.2/xcp-ng-8.2.1.iso?https=1 2. 부팅 USB 만들기 dd if=xcp-ng-8.2.1.iso of=/dev/sdX bs=8M oflag=direct 3. 설치 매모용 엔터 querty us ok , accept eula perform clean installation boot system -> 931gb samsung evo ssd 870(보통 SSD로) vm storage- ssb 해제 use ext instead 선택 continue -> local media- > skip verification root ID/PWD 입력..

기타/Xen 2022.07.10

K8s) host명으로 내부 데이터 접근하기_spark,boto3,k8s

IP로 데이터에 접근하다보니, 불안해서 host명으로 수정했어요 k8s에서 작업하시는 분들께 도움이 되었으면 합니다 :) 요약 문제 : IP로 데이터 접근하니, 보안 리스크가 생김 상황 : spark image, jupyterhub, airflow 에 적용가능함 조치 : IP를 host명으로 대체함 결론 : 보안 리스크 줄이고, cluster 관리가 편해짐 설명 1. 문제 data에 IP로 접근해서 생길 수 있는 보안 이슈 발견 k8s cluster를 여러개 관리하다보니까, IP가 이제 꼬이기 시작했어요. 보안 이슈도 있었지만, 곧 신규 cluster 구축이 예정되어있어서 미리 변경하고 싶었어요 제가 편해야 시스템도 안정적으로 변하니까요ㅎ 2. 상황 일단 3가지 먼저, spark image/ jupyte..

기타/K8S 2022.07.07

xen) xcp_ng disk full 해결(orphan disk)

snapshot 마구 찍다가 storage 가 꽉차서, orphan disk를 xoa(UI)에서 삭제해줌 요약 상황 원인 조치 설정 상황 snapshot 마구 찍다가 storage repo가 꽉참 revert to snapshot 했는데 disk를 잡지 못해서 booting이 안됨 원인 k8s cluster 세팅하다가 뭔일 있을 때마다 snapshot 떠서 그런듯 기본적으로 VDI는 snapshot에 포함되는데 아래와 같음 - snapshot 뜨기 전에 base copy를 찍는데 이게 문제가 되는듯, metadata는 별로 안될테니까 Active VDI – As the name suggest it is the VDI which holds the current writes. This VDI is set t..

기타/Xen 2022.06.02

linux) 서버 포멧, 이동(mkfs, 무진동차량)

노트북 포멧만 해본 나인데, 서버 포멧하고 이동시켰음. 재미난 경험 ㅎ 요약 1. 서버 포멧함 (mkfs, raid0) 2. 서버 이동시킴 (무진동차량: 25만원, 하프렉) 설명 1. 서버 포멧함 (mkfs, raid0) 나에게 포멧이랑, 윈도우에서 만든 부팅 usb 만들고 블로그에서 시킨대로 진행하는거 이런 나에게 서버 포멧을 해볼 기회가 생겼다. 상사 : live usb 만들어놔, mkfs 할거니까 부끄럽지만 무슨말인지 이해를 못했음 ㅜㅜ 다시 생각해보면 아래와 같이 풀이된다. 해석 : 내부망이니까 scp 로 iso 파일을 복사하고, dd 명령어로 부팅 usb 만든 후 포멧 명령어를 입력해 [live usb 만들어놔] 1. iso 파일 아무거나 다운받기 2. scp로 서버로 복사하기 3. 서버에 us..

기타/Linux 2022.05.07

Kubernetes) 자주 사용하는 명령어_메모용

내가 자주 사용하는 명령어 # 특정 pod 지우기 kubectl delete pods --field-selector status.phase=Failed -n mlflow kubectl delete pods --field-selector status.phase=Succeeded -n mlflow kubectl delete pods --field-selector status.phase=Pending -n mlflow #과거 replicaset 지우기 kubectl delete replicaset -n jhub $(kubectl get replicaset -n jhub | grep "0 0 0"| cut -d' ' -f 1) #ns 강제로 지우기 kubectl get namespace "rook-ceph" -..

기타/K8S 2022.04.26

kubernetes) Kubesphere 제거시 남는 것들_helm,ulimit

한줄 요약: kubesphere 삭제할 때 정말 잘 지워졌는지 확인하자 요약 문제발생 linux max user process 부족으로 master에 오류가 생김 원인 파악 설정된 max user process 자체가 너무 작음 sendmail, postdrop, etcd-backup.sh 관련된 프로세스가 생김 해결 방안 ulimit 변경 후 reboot 요청 Kubesphere 관련 설정 마저 삭제 설명 1. 문제 발생 > linux max user process 부족으로 master에 오류가 생김 아래는 예시 $k get pod -n jupyter runtime: failed to create new OS thread (have 16 already; errno=11) runtime: may need..

기타/K8S 2022.04.09

udemy)CKA 강의 듣고 따라하기_7장_security :: mightytedkim

udemy)CKA 강의 듣고 따라하기_7장_security + 후기 수강기간 : 0908- (수강 전) 보안 부분은 2시간 20분이나 됨ㅜ 잘 모르는 분야라 무섭기도하고 결국 넘어야할 중요한 부분이라 정신 바짝차리고, 이번주 주말에 완강하는 걸 목표로 해야겠다. 다행히 아주 기초 단계로 설명해준다고 한다. (수강 후) Section 7: Security 0 / 33 | 2hr 21min 132. Security - Section Introduction 2min > 개요 설명 어떻게 사용자가 접근하고, 관리되는지 기본 설정을 예시를 통해 보고, tls certicate 등을 볼 예정 아주 기초부터 볼거기 때문에 많은 시간이 걸리게 구성이됨 133. Download Presentation Deck 1min ..

기타/K8S 2022.04.08

udemy)CKA 강의 듣고 따라하기_6장_cluster mng :: mightytedkim

udemy)CKA 강의 듣고 따라하기_6장_cluster mng + 후기 수강 기간: 20220402-0406(5일) (수강 전) 실제 온프렘에서 k8s cluster를 운영하고 있기 때문에 재미있을 것 같다 ㅎㅎ 생각보다 빡시다. 하지만 언제 이런 정보 얻겠나 싶어서 재미있게 들음 (수강 후) 마침 etcdctl 관련 이슈가 있어서, 정보가 필요했는데 이 강의를 들어서 이해되기 시작했다. 여러번 돌려들을 정도로 꼼꼼하게 들었고 지금까지 강의 중에서 제일 재미있었다. - master, worker 업그레이드하는 과정에서 drain, cordon, uncordon - etcdctl snapshot save, restore Section 6: Cluster Maintenance | 1hr 11min 115...

기타/K8S 2022.04.03

udemy)CKA 강의 듣고 따라하기_5장_lifecycle :: mightytedkim

CKA 강의 듣고 따라하기_5장_application lifecycle management + 후기 수강 기간: 20220330~20220402(4일) 1시간 30분짜리 챕터지만 목차상으로는 어려워보이는 것은 없을 것 같음 1. rollout은 히스토리 관리할 수 있어서 좋은듯 2. docker의 cmd, entrypoint 개념 복습해서 좋음 3. configmap, secret 적용하는법 복습 4. initcontainer의 개념 Course content Section 1: Introduction 7 / 7 | 20min : 강의 개요 Section 2: Core Concepts 40 / 40 | 2hr 57min : 기본 오브젝트 설명 Section 3: Scheduling 31 / 31 | 1h..

기타/K8S 2022.03.31

xen) vg not available 해결_reboot,vgchange -ay,k8s

한줄 요약: 서버 리붓하고 osd가 Init:CrashLoopBackOff 나서 내 마음도 함께 박살남 요약 1. vm 으로 구성되어 있는 cluster에 memory 를 늘리는 과정서 node들을 재시작함 2. 6개 클러스터를 한번에 재시작함 3. osd가 다시 살아나지 않음 4. vgchange -ay로 logical volume을 활성화시킴 설명 1. vm 으로 구성되어 있는 cluster에 memory 를 늘리는 과정서 node들을 재시작함 jupyterhub 설치하고 notebook 이미지 변경하다가, insufficient 메모리 에러가 나옴 vm cluster 메모리 할당을 늘림 2. 6개 클러스터를 한번에 재시작함 여기까지는 평화로웠음 3. osd가 다시 살아나지 않음 망함. osd 올라가..

기타/Xen 2022.03.29