기록의 공간 :: mightytedkim

최근에 대용량 object stroage 파일 수십만개를 복사할 일이 생겼는데 그 때 mc cp와 mc mirror를 들여다 봤어요 + aws cli도 좋지만, mc(minio client)는 설치가 필요없이 압축만 풀면되는 agent 파일이어서 좋아요. (서버에 영향을 최소한으로 줄 수 있어서) 예상 독자 - mc(minio client)가 궁금한 분 - mc cp와 mc mirror의 차이가 궁금한 분 목차 1. mc cp는 뭐지 2. mc mirror는 뭐지 3. 두개의 차이점은 뭐지 4. 무엇을 적용했는지 1. mc cp는 뭐지 aws cli의 cp와 동일한 친구에요 단순히 복사하는 명령어로, 속도가 빠르고 단순하다는 장점이 있어요 하지만 boto3보다 안정적이라는거지, 수만개의 object를 이..

22년 연말에 쿠버네티스 장애나서 혼자 야근한 썰이에요 결론부터 말하면, 알 수 없는 이유로 네트워크 설정값이 초기화되었는데 상상도 못햇던 일이라 원인을 찾는데 좀 오래 걸렷어요 ”장애 인지 -> 원인 파악 -> 해결“의 흐름으로 정리해봤습니다ㅎ 요약 - k8s pod 내부에서 외부 domain 접근 못함 - 인프라팀 서버 작업 중, ip_forward 설정값이 초기화됨 예상 독자 - coredns 관련 에러가 나는 분들 목차 장애 인지 원인 파악 문제 해결 후기 1. 장애 인지 서버 재시작 후, K8S Airflow Job 실패 인프라팀이 ‘펌웨어 업그레이드`한다고 서버를 재시작했어요. 재시작하고 나니, Airflow 장애가 발생하며 메신저에 불이 났어요 심호흡을 하고, 상황 파악부터 시작했습니다. A..

mc를 통해서 object storage의 데이터를 A cluster에서 B cluster로 옮기려고 했어요 참고로 저는 온프렘 k8s rook-ceph를 사용하고 있어요 alias 등록하고 목록 조회는 되는데, 다른 작업이 안되더라고요 $ mc alias ls ceph-test URL : http://192.16.172.56:30071 AccessKey : access-key SecretKey : secret-key API : S3v4 Path : dns ceph-vm URL : http://172.17.172.11:30071 AccessKey : access-key SecretKey : secret-key API : s3v4 Path : auto $ mc ls ceph-test/ [2022-10-12..

요약 ubuntu 22.04.1 을 설치하고 oracle linux 7.9에서 접근하려고 했는데 인증 오류("no matching MAC found" )가 났고 [-m mac_spec] 설정으로 해결했어요 $ ssh -m hmac-sha2-512 -A spc@10.***.70.41 문제 there's some incompatibility between the ssh client shipped with Windows and the server on Ubuntu 22.04. #사례1 # source, linux Oracle Linux Server release 7.6 # source, ssh OpenSSH_7.4p1, OpenSSL 1.0.2k-fips 26 Jan 2017 $ telnet 10.***.70..

proxy 설정 때문에 python에서 requests 코드가 돌아가지 않는 상황 발생 ~/.bashrc나 /etc/environment에서 http_proxy, https_proxy를 주석해주면 되지만 나는 코드 내에서 초기화를 하고 싶었어요 방법은 아래와 같아요. 간단하지만 당황하면 생각이 안나서 메모! os.environ['http_proxy'] = "" os.environ['https_proxy'] = "" https://stackoverflow.com/questions/48862492/how-to-reset-system-proxy-in-centos-using-python-code

온프렘 내부망 세팅하던 중에, 제가 사용하는 apt 들이 없어서 설치했어요 나중에 까먹을까봐 기록해두려고요 환경은 아래와 같아요 - ubuntu 22.04 온라인 - tree, ifconfig, unzip 을 설치했어요 #온라인 다운로드 $ apt-get install --download-only unzip #다운로드 파일 확인 $ ll /var/cache/apt/archives | grep unzip unzip_6.0-26ubuntu3_amd64.deb 오프라인 #파일 복사 $ cd /var/cache/apt/archives $ cp ./etc/util/unzip_6.0-26ubuntu3_amd64.deb /var/cache/apt/archives/ #오프라인 설치 $ sudo dpkg -i unzip..

argocd와 helm으로 grafana를 실행했는데 자꾸 admin 비밀번호가 변경되더라고요. 임시로 비밀번호를 초기화하는 방법도 있지만, 고정하는 방법에 대해 찾아봤습니다. 이 글의 예상 독자는 아래와 같아요 1. 비밀번호 계속 바껴서 불편하신분 2. 임시 방편이 아니라, 고정을 원하시는분 grafana의 admin 비밀번호는 secret에 admin-password에 저장이되요 하지만 argocd를 사용할 경우 계속 새로고침되면서 비밀번호가 변경됩니다. kubectl get secret --namespace default grafana -o jsonpath="{.data.admin-password}" | base64 --decode ; echo > DpveUuOyxNrandompasswordYuB5..

고정 ip, dns, proxy 설정까지 해서 ping, telnet, ssh가 되는데 curl이 안되더라고요. .curlrc에 noproxy를 추가해서 적용했습니다 예상 독자는 아래와 같아요 1. 네트워크 초보자 2. vm 세팅하시는 분들 상황 상황은 아래와 같았어요 > 정상 $ curl '' localhost:30071 $ curl -x '' 172.17.172.36:30071 $ export http_proxy='' & curl 172.17.172.36:30071 > 비정상 # 계속 http_proxy로 감 $ curl -x '' 172.17.172.36:30071 Rebuilt URL to: 172.17.172.36:30071/ * Trying 168.219.61.252... * TCP_NODEL..

이 글은 xen server를 사용하시는 분 중에서, 비슷한 장애를 나신 분들을 위해서 작성했어요 결론은 vm 데이터 날렷다는 슬픈 이야기 요약 1. 장애 2. 분석 3. 조치 설명 1. 장애 Xen server는 가상화, vm들 쉽게 관리해주는 툴이에요 https://xcp-ng.org/ XCP-ng - XenServer Based, Community Powered Grab the latest 8.2 ISO here, then create your bootable USB key with: dd if=xcp-ng-8.2.1.iso of=/dev/sdX bs=8M oflag=direct Then just boot on it! On Windows, you can use Rufus to create the b..

helm 사용하다가 helm upgrade가 안되는 문제가 발생했어요 Upgrade "airflow" failed: cannot patch "airflow" with kind PersistentVolumeClaim: PersistentVolumeClaim "grafana" is invalid: spec: Forbidden: is immutable after creation except resources.requests for bound claims 검색해보니, helm3는 deployment 내역을 secret으로 관리한데요 Since Helm 3, Helm supports three-way merge patch strategy², which makes it safer to bypass the error..