기록의 공간 :: mightytedkim

mc를 통해서 object storage의 데이터를 A cluster에서 B cluster로 옮기려고 했어요 참고로 저는 온프렘 k8s rook-ceph를 사용하고 있어요 alias 등록하고 목록 조회는 되는데, 다른 작업이 안되더라고요 $ mc alias ls ceph-test URL : http://192.16.172.56:30071 AccessKey : access-key SecretKey : secret-key API : S3v4 Path : dns ceph-vm URL : http://172.17.172.11:30071 AccessKey : access-key SecretKey : secret-key API : s3v4 Path : auto $ mc ls ceph-test/ [2022-10-12..

ceph object-storage를 A서버에서 B서버로 이동하는 방법을 찾다가 mc를 이용 요약 상황 원인 조치 참고 설명 상황 mc cp --recursive (source) (target) 하니까 에러가남 A서버 ceph의 데이터를 B서버 Ceph로 옮겨야함. mc 커맨드가 linux에 설치되어 있어서 알아봄, mc cp vs mc mirror - mc cp allows for fine-tuned options for single files (but can bulk copy using --recursive) - mc mirror is focussed on bulk copying and can create buckets 출처 : https://stackoverflow.com/questions/5955..

분석계에서 데이터 당겨서 갈때, readonly로 주고 싶었음 secondary 만들어서 주는게 정석이지만, 과한 것 같아 radosgw + subuser + s3 policy로 구현함 요약 1. 상황 - readonly 계정이 필요함 - multi-site로 설정하기에는 너무 과함 2. 적용 - radosgw + subuser + s3 policy로 구현함 설명 1. 상황 - readonly 계정이 필요함 - multi-site로 설정하기에는 너무 과함 If the secondary zone needs to be a read-only configuration, update the secondary zone. # radosgw-admin zone modify --rgw-zone={zone-name} --..

ceph-dashboard에서 object-storage 메뉴가 나오도록 권한 설정하는 법 요약 1. ceph-dashboard에서 object-storage 메뉴가 안나옴 2. rgw-api-admin-resource를 설정하면됨 설명 1. ceph-dashboard에서 object-storage 메뉴가 안나옴 2. rgw-api-admin-resource를 설정하면됨 admin으로 주면 됨 ceph dashboard set-rgw-api-admin-resource admin 왜 admin인지 보려면 radosgw-admin으로 user를 보면 됨 tools로 보자 $ k exec -it rook-ceph-tools-7884798859-hmxw6 -n rook-ceph -- /bin/bash [rook..

jupyterhub에서 spark_submit 날렸는데, storage 설정 주지 않아서 문제가 생겼음 (ceph rgw 죽음) 요약 1. ceph rgw fail 발생 2. spark job에서 설정 누락 3. ceph rgw instance 늘림 설명 1. ceph rgw fail 발생 ceph rgw 죽어서 object storage 안됨 2. spark job에서 설정 누락 spark submit할때 local_storage 동적할당 안해서 부하가 생긴것으로 추정 fail 대비해서 replica 1개 올려야겠다고 생각함 3. ceph rgw instance 늘림 $ vi object.yaml gateway: instances: 2 #1 # 결과 $k get all -n rook-ceph | gre..

limit 1Gib 직전으로 메모리 사용률이 조절된다. OSD당 최소 4Gib 할당, 메모리 사용량은 공식 사용 요약 1. ceph osd 메모리가 tera 단위로 올라감 2. cluster.yaml에서 resource limit 수정함 설명 1. ceph osd 메모리가 tera 단위로 올라감 > 결론부터 말하면 어떻게 얼마를 적용해라라는 기준이 아직 없음. 권고만 있음 관련 글을 하나씩 보기로하자. 나와 비슷한 고민을 한 사람이 있음 참고: https://github.com/rook/rook/issues/5821 1-1. 공식 문서 참고 : https://github.com/rook/rook/blob/master/design/ceph/resource-constraints.md GitHub - rook..

한줄 요약: 서버 리붓하고 osd가 Init:CrashLoopBackOff 나서 내 마음도 함께 박살남 요약 1. vm 으로 구성되어 있는 cluster에 memory 를 늘리는 과정서 node들을 재시작함 2. 6개 클러스터를 한번에 재시작함 3. osd가 다시 살아나지 않음 4. vgchange -ay로 logical volume을 활성화시킴 설명 1. vm 으로 구성되어 있는 cluster에 memory 를 늘리는 과정서 node들을 재시작함 jupyterhub 설치하고 notebook 이미지 변경하다가, insufficient 메모리 에러가 나옴 vm cluster 메모리 할당을 늘림 2. 6개 클러스터를 한번에 재시작함 여기까지는 평화로웠음 3. osd가 다시 살아나지 않음 망함. osd 올라가..

우여곡절 끝에 dashboard를 켰다. (SSL, 등등) 그런데 설정값들이 안보이는 화면이 있음 try `ceph orch set backend` 라는 명령어를 치라는데 검색해보니 설정값을 키라는 것 $k exec -it rook-ceph-tools-74bb778c5-qmjhd -n rook-ceph -- /bin/sh sh-4.4$ ceph orch status Error ENOENT: No orchestrator configured (try `ceph orch set backend`) sh-4.4$ ceph mgr module enable rook sh-4.4$ ceph orch set backend rook sh-4.4$ ceph orch status Backend: rook Available: ..

버전 rook-1.7.5 k8s 1.22 주요 프로세스 - ceph-mon: Cluster monitor로 active / failed node 확인하는 역할을 수행하며 ceph storage cluster map의 master copy를 유지 - ceph-mds: Metadata server로 inode와 디렉토리들의 메타데이터(filesystem의 디렉토리 및 파일이름, RADOS cluster에 저장된 object로의 매핑정보) 를 저장 - ceph-osd: Object storage devices. 실제 파일 내용을 저장하고 OSD의 상태를 확인해서 monitor에 알려주는 역할도 수행 - ceph-rgw: RESTful gateways. Object storage layer를 외부에 노출시키기 ..