'데이터 엔지니어'로 성장하기

정리하는 걸 좋아하고, 남이 읽으면 더 좋아함

기타 62

스타트업에서 POC를 위해 논문 참고하는 법_AR Glass,원격협업

회사에서 최근 원격 협업 시스템 POC를 진행하고 있어요 Hololens2, Quest3, TCL 등의 AR glass를 이용해서, 원격으로 협업할 수 있는 샘플 프로젝트를 만들어야해요. 너무 막막한 상황 속에서... 구글링하다가 도움을 받은 논문을 정리해보려고 해요. 인천대학교에서 작성한 것으로, 건설 현장에서의 원격 협업 시스템 개발에 대해 이야기를 해요. 먼저 GPT가 요약한 내용을 보고, 제가 인사이트를 얻은 부분에 대해서 정리하려고 합니다. # 논문 요약 (GPT) 이 연구는 혼합 현실(Mixed Reality, MR)을 기반으로 한 건설 현장 관리를 위한 원격 협업 시스템 개발에 관한 것입니다. 건축 정보 모델링(BIM)의 데이터 호환성을 활용하고, MR 기술을 통해 실세계 객체 위에 3D 가..

기타 2024.03.17

k8s) cka 자격증 후기_칠지말지 고민될 때 보면 좋을 내용

업무에 쿠버네티스를 많이 사용하고 있는데, 알고 있는 것을 점검하고자 자격증을 공부했어요 인강은 작년에 Udemy를 들엇지만, 1년짜리 유효기간이 시험이라 끝까지 미루다가 얼마전에 시험을 쳤어요 ㅎ 예상 독자는 다음과 같습니다. CKA 시험을 치려고 고민하시는 분 읽고 얻으실 수 있는건 아래와 같아요 시험을 쳐야할지 말아야지 결정에 필요한 정보 1. 쿠버네티스 자격증이란? Linux foundation에서 제공하는 여러 자격들 중 하나에요 CKAD, CKA, CKS 등이 있어요 2. 공부 전 알아야하는 내용 시험을 치는 이유 ( 지식 습득 > 취업 스펙 ) 많은 사람들이 UDEMY에서 인강 듣고, 그냥 치면 딸 수 있는 시험이라고 해요. 그래서 쉬워 보이는데 생각보다 준비기간이 오래 걸립니다. 쿠버네티..

기타/K8S 2024.02.04

Kubernetes) Container안에서, Image 빌드 가능한가요? (Part 2: Kaniko)

지난 포스팅에서는 Docker in Docker를 이용해서 image를 빌드했어요. 그런데 굳이 Image 빌드만 하면되는데 docker를 사용해야할까요? 예상 독자는 아래와 같습니다. Image 빌드에 굳이 Docker를 쓰고 싶지 않으신 분 보안에 취약한 Docker in Docker를 사용하고 싶지 않으신 분 Kaniko가 궁금하신 분 목차 내용 1. Kaniko란? 홈페이지: https://github.com/GoogleContainerTools/kaniko 한줄 요약: kaniko is a tool to build container images from a Dockerfile, inside a container or Kubernetes cluster. image: gcr.io/kaniko-pro..

기타/K8S 2023.09.30

Kubernetes) Container안에서, Image 빌드 가능한가요? (Part 1: docker in docker)

항상 Docker build는 Jenkins나 Git Action을 사용해왔어요. 그런데 권한 이슈 때문에 이걸 사용하지 못하는 상황을 마주쳤습니다. Docker In Docker로 이 상황을 어떻게 우회했는지 정리해보았습니다 예상 독자는 아래와 같습니다. Docker In Docker 가 궁금하신 분 Docker Out of Docker를 사용 못하시는 분 K8S 엔진으로 cri-o를 사용하시는 분 목차 상황 설명 문제 해결 참고 내용 상황 설명 Server의 Docker 사용이 안됨 (보안상의 이유로) Docker out of Docker는 docker.sock 권한 이슈로 사용 못함 Image는 Build하고 repository에 Push 해야함 Nuclio의 nuctl의 경우 default가 do..

기타/K8S 2023.09.23

kubernetes) k8s dashboard limited acess 설정하기_readonly

k8s dashboard를 제공하기는 해야하는데, 읽기 권한만 부여하고 싶을 때가 있어요. 예를 들어, spark on k8s 환경의 경우 분석가 분들이 pod의 memory/cpu 사용량을 봐야할 때가 있겠네요. 사용량이나 로그를 봐야지 executor와 memory를 늘릴지 말지 판단할 수 있기 때문이에요. 제가 참고한 코드는 fabianlee의 블로그에요 https://fabianlee.org/2022/08/05/kubernetes-accessing-the-kubernetes-dashboard-with-least-privilege/ Kubernetes: accessing the Kubernetes Dashboard with least privilege | Fabian Lee : Software En..

기타/K8S 2023.04.23

k8s) worker 재시작했을 때 not ready 인 경우

어쩔때는 잘 올라오는데 어쩔때는 not ready고 쿠버는 참 재미진 것 같아요.. 매번 믿지만, 가끔 뒤통수 맞아서 비슷한 사례가 있을 때마다 여기에 추가하려고요 (대단한건 없고 메모용입니다) server 의 경우 서버에서는 대부분의 문제가 kubelet, docker(containerd)가 실행되지 않아서 생기더라고요 그래서 아래 명령어들을 확인합니다. systemctl status kubelet systemctl status docker #systemctl status containerd 예시 [root@k8sworker3 ~]# systemctl status kubelet ● kubelet.service - kubelet: The Kubernetes Node Agent Loaded: loaded ..

기타/K8S 2023.03.09

K8S) pod 내부에서 외부 DNS 못 찾을 때 우회법_hostAlias,coredns

쿠버네스티는 설치할 때마다 새로워요. hw가 문제일 때도 있고, kernel 버전이 안 맞을 때도 있죠 하지만 대부분의 절망 포인트는 네트워크 더라고요... pod안에서 외부 dns 접근 못하던 문제를 어떻게 우회해서 해결했는지 정리했습니다 예상 독자는 다음과 같아요 온프렘 환경에서 고군분투 쿠버를 설치하시는 분들 네트워크 잘 모르는데 쿠버 설치하시는 분들 저를 불쌍히 여기실 수 있는 분들 문제: pod 안에서 dns 를 찾지 못함 이번에는 새로운 네트워크 망에 k8s cluster를 설치하는 작업을 했어요 그런데 이상하게 서버 몇대가, 회사 DNS에 접근을 잘 못하더라고요. 12대 중 2대가 접근이 되지 않아서 /etc/hosts에 특정 host를 명시해줬어요 불안한 마음에 k8s 설치하고 busybo..

기타/K8S 2023.02.26

K8S) 인증서 갱신하기

온프렘 쿠버 세팅하고 1년 정도 지나니까 인증서 갱신 문제가 발생하더라고요 문제가 발생하면 먼저 인증서 상태를 확인해줍니다. $ kubeadm certs check-expiration [check-expiration] Reading configuration from the cluster... [check-expiration] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -o yaml' [check-expiration] Error reading configuration from the Cluster. Falling back to default configuration CERTIFICATE EX..

기타/K8S 2023.02.26

linux) fstab bind_심볼릭 링크 권한 관리가 필요할 때

심볼릭 링크 작업이 필요한데, 권한은 특정 사용자로 한정해야하는 일이 있었어요 그런데 ln -s에는 chown이 안먹히더라고요. 그래서 검색하던 중 bind를 찾앗어요 예상 독자 - 심볼링 링크에 권한 부여해야하는 분 목차 1. 왜 심볼릭 링크에 권한 관리가 필요했는가? 2. bind를 이용해 어떻게 해결했는가? + ftp로 상위 폴더 못가게 하기 1. 왜 심볼릭 링크에 권한 관리가 필요했는가? `ftp로 업로드하면, nginx로 다운로드하고 싶다` 는 요청이 들어왔어요 아래처럼 계획을 세분화했어요 1. adminftp/userftp를 만든다. 2. admin 은 저장/삭제가 가능하다. 3. user는 저장만 가능하다(수정 불가) 4. *ssh 접근을 못하게 막는다. 5. ftp 상위 폴더 접근을 못하게..

기타/Linux 2023.01.09

linux) bash script로 yyyymmdd 뽑기

예상 독자 - bash script로 달력 구현이 필요하신 분 - airflow jinja 작업 전에 테스트가 필요하신 분 1년치 데이터를 이전하는 작업을 하게 되었는데 매일 해야하는 작업이라 airflow로 구현하기로 결정햇어요 일단 script로 for loop 돌려서, $1으로 입력받는 값을 넘기는 방식으로 테스트를 했어요 #!/bin/bash kdts="$@" for kdt in $kdts do # if .bak backup file exists, read next file echo kdt=${kdt} mc mirror --overwrite ceph-source/testkdt=${kdt} ceph-target/test/kdt=${kdt} echo kdt=${kdt} finished done 그런데..

기타/Linux 2023.01.09