'데이터 엔지니어'로 성장하기

정리하는 걸 좋아하고, 남이 읽으면 더 좋아함

기타/K8S 35

youtube) k8s+spark+minio 실습 따라하기_1 :: mightytedkim

회사에서 minio, spark, kuberenetes를 사용하게 되면서 유투브에서 좋은 자료를 찾아 따라했어요 유투브는 크게 2가지로 나누어지는데 이 게시물에서는 1번만 따라했어요. 1. minio on spark: minio > pyenv > spark-submit 로 결과 출력 2. kubernetes: sparkoperator를 이용해 kubernetes pod로 결과 출력 쉽게 따라할 수 잇었던 부분도 있고, 방화벽이나 네트워크 관련 문제 때문에 다른 방법을 사용하기도 했습니다. 1. minio 실행 후 pyspark로 결과 출력 minio: helm으로로 minio 실행 python: pyenv, pyenv-virtualenv 세팅 spark: spark-submit main.py Minio ..

기타/K8S 2021.09.21

Slipp) K8S 스터디4주차_디플로이먼트, 서비스, 잡 :: mightytedkim

이번 스터디 주제는 디플로이먼트와 서비스입니다 (책은 15단계로 배우는 도커와 쿠버네티스, 깔끔하고 눈으로만 봐도 될정도로 과정을 다 기록해줌) 요약 1. pod는 일시적인 존재라 없어질 수 있기 때문에 관리해줄 친구들이 필요해요 2. 그 방법이 오늘 정리할 deployment service, job 입니다. - deployment는 파드의 개수를 관리해줘요 - service는 IP를 관리해줘요 - job 은 실행하고 종료하는 역할을 해요 1. Deployment 요청한 개수만큼 파드를 기동하여, 장애 등의 이유로 파드의 개수가 줄어들면 새롭게 파드를 만들어 기동한다. - replicaset 과 함께 동작한다. 주요 명령어 replicas : 파드 템플릿을 기동할 파드의 개수를 지정 selector : ..

기타/K8S 2021.09.20

Slipp) K8S 스터디3주차_minikube 실습 :: mightytedkim

이제 드디어 스터디에서 쿠버네티스를 시작했어요 ㅎㅎ 요약 발표자가 아닌 사회자를 통해서 스터디를 진행하고 있는데, 아직까지는 괜찮은 것 같아요 2시간을 채우지 못하면 어떡하나 생각했는데, 다들 질문도 많이 해주시고 시간이 오히려 부족하더라고요 (발표자가 아니다 보니까, 나에게 설명을 해주세요 느낌이 아니어서 더 열심히 스터디 준비를 하게되요 ㅎ) 3주차- 쿠버네티스 첫 걸음 & 매니페스트와 파드 - SLiPP 스터디 - SLiPP::위키 쿠버네티스 첫 걸음 클러스터 구성확인K8s 클러스터 환경의 정보 출력(macOS 미니쿠배싱글 노드 K8s 클러스터에서 구성 노드 출력Role : 책과 다르게 control-plane 이 나오는 이유?파드 실행파드는 쿠버 www.slipp.net 개인 공부 세팅하다가 시간..

기타/K8S 2021.09.11

Slipp) K8S 스터디2주차_컨테이너의 개념 :: mightytedkim

지난 번에는 쿠버네티스가 무엇인지에 대해서 배웠고, https://mightytedkim.tistory.com/13 쿠네버티스) 1장 도커와 쿠버네티스의 개요 회사에서 쿠버네티스를 사용하게 되서, 개념을 공부하고 있어요 책은 15단계로 배우는 도커와 쿠버네티스 (깔끔한 설명과 자연스러운 번역이 장점인 것같아요) slipp스터디에서 9분과 함께 완독 mightytedkim.tistory.com 2장에서는 쿠버네티스와 연관이 많은 도커와 관련된 내용들이 나와요 SLIPP 21차 스터디에서 도커와 관련된 트러블 슈팅 경험등을 공유 했어요 0. 토의 내용 책 관련 p132. 컨테이너의 실체는 호스트 프로세스 vagrant 부분에 pts/0,1,2로 나뉘는거같은데, 4420, 4454부분이 pts가 바뀌는게 이해..

기타/K8S 2021.08.26

Slipp) K8S 스터디1주차_개념 잡기 :: mightytedkim

회사에서 쿠버네티스를 사용하게 되서, 개념을 공부하고 있어요 책은 15단계로 배우는 도커와 쿠버네티스 (깔끔한 설명과 자연스러운 번역이 장점인 것같아요) slipp스터디에서 9분과 함께 완독을 목표로 11월까지 달릴 예정입니다. 1장 도커와 쿠버네티스의 개요 책에서는 훨씬 자세하고 친절한 설명이 나와서, 나중에 복습할 용도로 요약했습니다. 쿠버네티스란 기본 개념과 장점에 대해서 알 수 있었어요. 곧 쿠버네티스도 백엔드 개발자가 모르면 안되는 기술이 될 것 같아요 정의 컨테이너화된 애플리케이션을 효율적으로 배포하고 운영하기 위해 설계된 오픈 소스 플랫폼 요약 등장 배경 새로운 기능과 서비스를 빠르고 안정적으로 제공 필요 불변의 실행 환경(immutable infrastructure)이 필요 특징 높은 유연..

기타/K8S 2021.08.15