기록의 공간 :: mightytedkim

ceph object-storage를 A서버에서 B서버로 이동하는 방법을 찾다가 mc를 이용 요약 상황 원인 조치 참고 설명 상황 mc cp --recursive (source) (target) 하니까 에러가남 A서버 ceph의 데이터를 B서버 Ceph로 옮겨야함. mc 커맨드가 linux에 설치되어 있어서 알아봄, mc cp vs mc mirror - mc cp allows for fine-tuned options for single files (but can bulk copy using --recursive) - mc mirror is focussed on bulk copying and can create buckets 출처 : https://stackoverflow.com/questions/5955..

요약 1. disk 용량이 꽉참 2. mysql binary 때문이었음 3. 삭제하고, 저장 주기 조정함 설명 1. disk 용량이 꽉참 2. mysql binary 때문이었음 ls -al | grep mysql total 14916268 drwxrwsr-x 11 1001 1001 4096 Apr 25 04:24 . drwxrwsrwx 4 root 1001 4096 Dec 6 09:26 .. drwxrws--- 2 1001 1001 4096 Dec 6 09:26 mysql -rw-rw---- 1 1001 1001 1453 Dec 6 09:26 mysql-bin.000001 -rw-rw---- 1 1001 1001 509183729 Dec 14 05:59 mysql-bin.000002 -rw-rw---- ..

분석계에서 데이터 당겨서 갈때, readonly로 주고 싶었음 secondary 만들어서 주는게 정석이지만, 과한 것 같아 radosgw + subuser + s3 policy로 구현함 요약 1. 상황 - readonly 계정이 필요함 - multi-site로 설정하기에는 너무 과함 2. 적용 - radosgw + subuser + s3 policy로 구현함 설명 1. 상황 - readonly 계정이 필요함 - multi-site로 설정하기에는 너무 과함 If the secondary zone needs to be a read-only configuration, update the secondary zone. # radosgw-admin zone modify --rgw-zone={zone-name} --..

ceph-dashboard에서 object-storage 메뉴가 나오도록 권한 설정하는 법 요약 1. ceph-dashboard에서 object-storage 메뉴가 안나옴 2. rgw-api-admin-resource를 설정하면됨 설명 1. ceph-dashboard에서 object-storage 메뉴가 안나옴 2. rgw-api-admin-resource를 설정하면됨 admin으로 주면 됨 ceph dashboard set-rgw-api-admin-resource admin 왜 admin인지 보려면 radosgw-admin으로 user를 보면 됨 tools로 보자 $ k exec -it rook-ceph-tools-7884798859-hmxw6 -n rook-ceph -- /bin/bash [rook..

구글링할 때 이런 에러로 검색하니 나옴, pvc 할당을 늘려줌 -> binary 파일을 삭제하지 않아서 그런거였음 + 추가 갑자기 pvc가 늘어난 원인을 찾았음 실시간 대용량 log 데이터를 바로 mariadb로 insert하고 있었음 그것도 1 connection, 1 insert kafka, redis 같은 큐 사용 왜하지 않았냐고 물으니까. 이렇게 많을 줄 몰랐다고.. 말인지 방구인지 문제 오픈했는데, 일단 이렇게 진행하자는 대답이 들어옴... 믿을 수 없음. 책임만 있고 권한은 없는 관리자가 나임 요약 문제발생 원인분석 조치 설명 1. 문제 발생 HQ mariadb 접속 안되는 문제 발생 2. 원인 분석 kubernetes pod CrashLoopBackOff, 재시작이 안되는 문제 -> pvc를..

jupyterhub에서 spark_submit 날렸는데, storage 설정 주지 않아서 문제가 생겼음 (ceph rgw 죽음) 요약 1. ceph rgw fail 발생 2. spark job에서 설정 누락 3. ceph rgw instance 늘림 설명 1. ceph rgw fail 발생 ceph rgw 죽어서 object storage 안됨 2. spark job에서 설정 누락 spark submit할때 local_storage 동적할당 안해서 부하가 생긴것으로 추정 fail 대비해서 replica 1개 올려야겠다고 생각함 3. ceph rgw instance 늘림 $ vi object.yaml gateway: instances: 2 #1 # 결과 $k get all -n rook-ceph | gre..

limit 1Gib 직전으로 메모리 사용률이 조절된다. OSD당 최소 4Gib 할당, 메모리 사용량은 공식 사용 요약 1. ceph osd 메모리가 tera 단위로 올라감 2. cluster.yaml에서 resource limit 수정함 설명 1. ceph osd 메모리가 tera 단위로 올라감 > 결론부터 말하면 어떻게 얼마를 적용해라라는 기준이 아직 없음. 권고만 있음 관련 글을 하나씩 보기로하자. 나와 비슷한 고민을 한 사람이 있음 참고: https://github.com/rook/rook/issues/5821 1-1. 공식 문서 참고 : https://github.com/rook/rook/blob/master/design/ceph/resource-constraints.md GitHub - rook..

예전에 velog에서 정리했던 글을 아카이빙 https://velog.io/@deet1107/elk-dashboard ELK 실습(서울시 지하철 대시보드) 나는 원리를 파고 들어가는 진성 개발자보다는,일단 hello world를 해보고 원리를 다시 공부하는 청개구리 스타일이다.왜 중요한지를 알지 못하면 하지를 않아요..그래서 ElasticSearch로 대시보드 만 velog.io --- 저는 원리를 파고 들어가는 진성 개발자보다는, 일단 hello world를 해보고 원리를 다시 공부하는 청개구리 스타일이에요 왜 중요한지를 알지 못하면 하지를 않아요.. 그래서 ElasticSearch로 대시보드 만드는 예시를 찾아보던 중 지하철 대시보드를 따라하기로 했어요 Elastic에서 엔지니어로 일하고 계신 갓종민..

요약 cluster의 disk 사용량이 39-55%까지 차이남 rebalancing을 함 오차 범위 1%로 리밸런싱 완료 설명 1. cluster의 disk 사용량이 39-55%까지 sudo -u hdfs hdfs balancer [-policy (policy)] [-threshold ] [-blockpools (comma-separated list of blockpool ids)] [-include [-f (hosts-file) | (comma-separated list of hosts)]] [-exclude [-f (hosts-file) | (comma-separated list of hosts)]] [-idleiterations (idleiterations)] [-runDurin..

1. ceph status || ceph -w standby active를 확인할 수 잇음 sh-4.4$ ceph status || ceph -w cluster: id: 9cc2dec6-5cbf-49c3-abdf-1eaa15ec54e2 health: HEALTH_OK services: mon: 3 daemons, quorum a,b,c (age 3h) mgr: a(active, since 13m) mds: 1/1 daemons up, 1 hot standby osd: 5 osds: 5 up (since 3h), 5 in (since 6w) rgw: 1 daemon active (1 hosts, 1 zones) data: volumes: 1/1 healthy pools: 11 pools, 177 pgs o..