기록의 공간 :: mightytedkim

최근에 Proxmox 스터디를 시작했어요. 나만의 사설 클라우드를 만들자! 라는 포부였고요.다행히 공감해주시는 분들 2명이 함께해주셨습니다 proxmox 설치이 부분은 간단하고 인터넷에 많이 나와있어서 생략할게요.다만 lan선이 꼭 있어야 합니다. 공식 문서에서도 굳이 wifi해야하냐고 할정도로 하지만 개발자들은 굳이 해야하냐에, 뭔가 정복 욕구가 나오죠 들어가기 전에 (proxmox wifi 연결)wifi 연결하기는 여타 linux 설정과 크게 다르지 않아요 제 환경은 아래와 같습니다.proxmox ve 8.3.4공유기 LGU+준비물wifi 연결이 가능한 pc/ notebooklan선명령어vim, net-tools, networkmanagerproxmox wifi 연결항상 두괄식이죠. 일단 저희가 목..

지난 포스팅에서는  superset 4.x 버전에 대해서 간단하게 알아봤어요. Superset) 너 왜이렇게 버전업이 빠르니? (7개월 만에 2.1에서 4.0)작년에 superset POC하고 올해 적용하기로 했어요예전에 2.1 버전을 설치했는데, 지금 보니 4.1 이더라고요 오늘 포스팅에서는 각 버전 별 특징과실제 느낀 차이점에 대해 이야기할 예정입니다. 예mightytedkim.tistory.com 이번에는 간단한 설치부터, 적용한 설정값들에 대해서 다뤄볼게요.0. 들어가기 전에예상 독자는 아래와 같습니다.1. superset 4.x를 docker-compose로 실행하고 싶은 분2. docker-compose 설정값에서 알아야하는 것 1. superset 설치하기- 공식 문서: https://sup..

23년 하반기는 힘들었지만 재미있었어요. 새로운 분야를 접했거든요 '데이터 잡부'의 도전에 대해 정리하려 합니다 :) 글의 구조는 아래와 같습니다. 원래 하던 업무 (pipeline) 제안받은 업무 (MLops) 수락하게 된 이유 . 글의 타깃 독자는 아래와 같습니다. MLops/AI 분야 병아리를 구경 온 선배님들 이제 MLops/AI 분야를 들어오려는 동지들 폐쇄망에서 어찌 진행했는지 궁금한 엔지니어들 . 자 이제 들어갑니다. 1. 원래 하던 업무 (pipeline) 폐쇄망에서, 해외 공장들의 data를 실시간으로 수집하는 pipeline 구축 #kafka, nifi, airflow, K8s, Ceph 기존에는 파이프라인 구축 업무를 했어요 처음 2년은 재미있었는데, 시간이 지나면서 매너리즘에 빠졌어..

요약 '토이프로젝트 만들기' 스터디를 신청해서 진행 중입니다. 1차 목표인, 휴대폰 데이터 스트리밍은 성공했고 그 후기를 정리했습니다 예상 독자 이 친구가 뭘 수정했나 궁금하신 분 스마트폰의 센서 데이터를 수집하시려는 분 아래 블로그 포스팅을 고도화하고 싶으신 분 https://towardsdatascience.com/a-real-time-streaming-project-with-smartphone-data-7e838a1b009d 결과물 [주제 구상] - 무엇을 주제로 선택할까 휴대폰의 센서 데이터 수집 업무가 주로 실시간 데이터 파이프라인을 구축임데, 보내는 쪽의 데이터를 선택할 수 없는게 좀 아쉽더라고요. (공장에서 보내는 것을 그냥 받아야하니까ㅜ) 그래서 제가 선택할 수 있는 데이터는 무엇이 있을까..

최근에 대용량 object stroage 파일 수십만개를 복사할 일이 생겼는데 그 때 mc cp와 mc mirror를 들여다 봤어요 + aws cli도 좋지만, mc(minio client)는 설치가 필요없이 압축만 풀면되는 agent 파일이어서 좋아요. (서버에 영향을 최소한으로 줄 수 있어서) 예상 독자 - mc(minio client)가 궁금한 분 - mc cp와 mc mirror의 차이가 궁금한 분 목차 1. mc cp는 뭐지 2. mc mirror는 뭐지 3. 두개의 차이점은 뭐지 4. 무엇을 적용했는지 1. mc cp는 뭐지 aws cli의 cp와 동일한 친구에요 단순히 복사하는 명령어로, 속도가 빠르고 단순하다는 장점이 있어요 하지만 boto3보다 안정적이라는거지, 수만개의 object를 이..

argocd와 helm으로 grafana를 실행했는데 자꾸 admin 비밀번호가 변경되더라고요. 임시로 비밀번호를 초기화하는 방법도 있지만, 고정하는 방법에 대해 찾아봤습니다. 이 글의 예상 독자는 아래와 같아요 1. 비밀번호 계속 바껴서 불편하신분 2. 임시 방편이 아니라, 고정을 원하시는분 grafana의 admin 비밀번호는 secret에 admin-password에 저장이되요 하지만 argocd를 사용할 경우 계속 새로고침되면서 비밀번호가 변경됩니다. kubectl get secret --namespace default grafana -o jsonpath="{.data.admin-password}" | base64 --decode ; echo > DpveUuOyxNrandompasswordYuB5..