'데이터 엔지니어'로 성장하기

정리하는 걸 좋아하고, 남이 읽으면 더 좋아함

분류 전체보기 179

proxmox) wifi로 연결해보기 (이유: 그냥)

최근에 Proxmox 스터디를 시작했어요. 나만의 사설 클라우드를 만들자! 라는 포부였고요.다행히 공감해주시는 분들 2명이 함께해주셨습니다 proxmox 설치이 부분은 간단하고 인터넷에 많이 나와있어서 생략할게요.다만 lan선이 꼭 있어야 합니다. 공식 문서에서도 굳이 wifi해야하냐고 할정도로  하지만 개발자들은 굳이 해야하냐에, 뭔가 정복 욕구가 나오죠 들어가기 전에 (proxmox wifi 연결)wifi 연결하기는 여타 linux 설정과 크게 다르지 않아요 제 환경은 아래와 같습니다.proxmox ve 8.3.4공유기 LGU+준비물wifi 연결이 가능한 pc/ notebooklan선명령어vim, net-tools, networkmanagerproxmox wifi 연결항상 두괄식이죠. 일단 저희가 목..

기타/Xen,Proxmox 2025.03.15

unzip parquet.gzip

import os import gzip import shutil # Define input and output base directories input_base_dir = "data"  # Folder where the compressed files are stored output_base_dir = "unzip"  # Destination folder for decompressed files # Walk through all directories for root, _, files in os.walk(input_base_dir):     for file in files:         if file.endswith(".parquet.gzip"):  # Process only .parquet.gzip fi..

비공개 2025.02.27

Superset) 4.0.x 시리즈 정리하기 (자동 설치script + github 코드)

앞의 superset 포스팅에서 설명했던내용을 정리한 스크립트를 공유하려합니다   예상 독자는 아래와 같습니다1. superset을 빠르게 실행해보려는 분2. 기본적인 커스터마이징이나 관리 방법을 알고 싶은 분1. 구성실제 구성은 단촐합니다.1. 설치 script2. 컨텐츠 script 2 설치 scripthttps://github.com/MightyTedKim/demo-superset_4.0.1/blob/main/run_install.sh  거두절미하고 실행합니다.  내부 구성은 엄청 간단해요start stop restart status#################################### Handle Script Arguments##################################..

Data/Superset 2025.02.16

Superset) 4.0.2 커스터마이징하기(2)_Logo,Role

1. 들어가기 전에지난 포스팅에서는 superset 설치와 설정값을 어떻게 세팅하는지 이야기했어요. Superset) 4.0.2 커스터마이징하기(1)_Flag,Theme,LandingPage지난 포스팅에서는  superset 4.x 버전에 대해서 간단하게 알아봤어요. Superset) 너 왜이렇게 버전업이 빠르니? (7개월 만에 2.1에서 4.0)작년에 superset POC하고 올해 적용하기로 했어요예전에 2.1 버전mightytedkim.tistory.com 이번에는 설정값 관련되서 좀 더 이야기해보려고 합니다.  예상 독자는 아래와 같습니다.1. Superset Logo 변경하고 싶으신 분2. Superset Role 설정하고 싶으신 분1. Superset Logo 변경빠르게 로고를 변경해보죠 ㅎ1..

Data/Superset 2025.01.05

Superset) 4.0.2 커스터마이징하기(1)_Flag,Theme,LandingPage

지난 포스팅에서는  superset 4.x 버전에 대해서 간단하게 알아봤어요. Superset) 너 왜이렇게 버전업이 빠르니? (7개월 만에 2.1에서 4.0)작년에 superset POC하고 올해 적용하기로 했어요예전에 2.1 버전을 설치했는데, 지금 보니 4.1 이더라고요 오늘 포스팅에서는 각 버전 별 특징과실제 느낀 차이점에 대해 이야기할 예정입니다. 예mightytedkim.tistory.com 이번에는 간단한 설치부터, 적용한 설정값들에 대해서 다뤄볼게요.0. 들어가기 전에예상 독자는 아래와 같습니다.1. superset 4.x를 docker-compose로 실행하고 싶은 분2. docker-compose 설정값에서 알아야하는 것 1. superset 설치하기- 공식 문서: https://sup..

Data/Superset 2024.12.22

Superset) 너 왜이렇게 버전업이 빠르니? (7개월 만에 2.1에서 4.0)

작년에 superset POC하고 올해 적용하기로 했어요예전에 2.1 버전을 설치했는데, 지금 보니 4.1 이더라고요 오늘 포스팅에서는 각 버전 별 특징과실제 느낀 차이점에 대해 이야기할 예정입니다. 예상 독자는 아래와 같습니다.1. 버전 별로 무엇이 다른지 궁금한 분2. superset이 무엇인지 궁금한 분 [1. 버전 별 특징] 먼저 릴리스 날짜를 정리해보죠대충 1년에 1개씩 업시켰어요 3 버전이 7개월 정도로 짧네요. 저처럼 23년 3월에 테스트하다가 24년 11월에 보는 사람은3.x 가 없이 그냥 4.x 올라간 것처럼 느낄 수 있겠어요. 이제 버전 별 특징을 자세히 보죠 가장 많이 사용되는 버전은 2.1로 알고 있어요.Superset이 커뮤니티에서 언급되던게 22-23년이고그 때 구축된 시스템을 ..

Data/Superset 2024.11.24

Airflow) docker-compose로 dockerOperator 실행하기

급하게 회사 업무로 airflow를 사용할 일이 있었는데docker-compose에서 dockerOperator를 사용한 경험입니다# 상황airflow 3년 전에 너가 세팅했지? 지금 바로 해줘 Airflow야 여러 버전별로 여러번 설치해봤으니까 알겠다고 대답했습니다. 생각없이 그냥 작업하다가 삽질을 2번이나 했습니다.# 삽질1: k8s 버전 생각 안하고 기존 소스로 설치하기2년 전에 세팅해둔 gitlab repo(airflow helm 2.3.0)가 있길래,회사 on-prem 쿠버(1.30) 에 실행해봤어요.  그런데 역시나 버전이 에러가 났습니다.(멍청한 나)- 현상: scheduler가 죽은 다음 살아나지를 않음 [원인]혹시나가 역시나. 버전이 안맞음gitlab repo가 2년 전 세팅한- gitl..

Data/Airflow 2024.10.27

K8S) 망가진 클러스터 심폐소생술 하기_disk,memory부족

평화로운 오후 갑자기, 회사 K8S가 이상하다는 연락이 옵니다회사 서버실에 있는 쿠버네티스나는 1년 동안 들어가본적이 없는 쿠버네티스하지만 내가 살려야하는 쿠버네티스 돌이켜보면 별거 없지만, 클러스터 되살린 과정을 적어보려고 합니다. 예상 독자는 아래와 같습니다1. k8s 리소스 정리가 필요한 분2. worker disk pressure, memory 부족이 발생하는 분3. k8s 이슈 발생시, 확인환경은 아래와 같습니다.1. 온프렘2. master 3, worker 33. k8s 1.30 /// ubuntu 22.04 (스포) 를 원하시면 아래 [더 보기]를 눌러주세요더보기[상황 파악]  1. 무슨 이유에서 인지, ceph에서 문제 발생  (ceph core 덤프 파일이 /var/lib/rook-cep..

기타/K8S 2024.09.30

기타) m1 mac ovpn 실행 에러_파일 경로 다름

회사망에 접속하기 위해서 ovpn을 사용하고 있다. iphone, ipad, galaxy, window 다 가능하고최근까지도 m1 에서 실행이되었는데 갑자기 안된다.  에러는 ovpn socket_protect error검색해보니 ovpn 실행이 안되어 있다고 한다.  그래서 ps -ef 했더니 진짜 실행되는게 없고인터넷 글처럼 다른 경로의 파일을 실행했다.그랬더니 권한 에러가 나와서 sudo를 넣었다. 된다. ㅎㅎ

카테고리 없음 2024.09.16