기록의 공간 :: mightytedkim

1. OSD memory 설정 OSD pod의 memory request값과 limit값을 설정하는 방법 request: pod생성시 메모리 최소 필요량 limit: 메모리가 해당 값 도달시 pod 재시작 cluster.yaml 수정 [manager@master:rook/deploy/examples]$ vi cluster.yaml osd: limits: cpu: "1000m" memory: "3Gi" requests: cpu: "500m" memory: "1025Mi" 2. MGR Replication 설정 MGR의 Deployments 자체를 2개 생성하는 방법이므로 Replicaset의 replica factor를 2로 설정하는 방법과 비교 테스트 후 운영 서버 적용 필요 cluster.yaml 수정..

rook-ceph연습하다가 osd 추가 삭제 연습을 하고 있었어요 그런데 osd가 자동 매핑되려면, 비어있어야하는데 기존 데이터와 서명이 남아있어서 문제가 생겼어요 skipping device "sdc" because it contains a filesystem "LVM2_member". cox@k8sworker1:/root$ blkid /dev/nvme0n1p1: LABEL="cloudimg-rootfs" UUID="93e5a202-73de-4bd5-8826-61ca0bcc099f" BLOCK_SIZE="4096" TYPE="ext4" PARTUUID="cbb5015f-ca94-467b-91ae-cce97828a042" /dev/nvme0n1p15: LABEL_FATBOOT="UEFI" LABEL="U..

개발계 k8s cluster를 xen server의 vm에 올려 사용하고 있어요 그런데 snapshot 버그 이슈로, SR(storage repository)가 꽉차는 문제가 발생했어요. disk를 확보해야했기 때문에 osd를 하나씩 삭제하고, 다른 hdd를 할당해줬습니다. (osd는 down되도, 데이터가 날라가지 않으니까요) 나중에 까먹을 것 같아서 정리해요 요약 상황 조치 기타 설명 상황 k8s02서버의 ceph가 꽉차서, write가 되지 않는 문제에요 [rook@rook-ceph-tools-74bb778c5-mpzhl /]$ ceph osd status ID HOST USED AVAIL WR OPS WR DATA RD OPS RD DATA STATE 0 k8s04 6210M 1017G 1 10...

ceph object-storage를 A서버에서 B서버로 이동하는 방법을 찾다가 mc를 이용 요약 상황 원인 조치 참고 설명 상황 mc cp --recursive (source) (target) 하니까 에러가남 A서버 ceph의 데이터를 B서버 Ceph로 옮겨야함. mc 커맨드가 linux에 설치되어 있어서 알아봄, mc cp vs mc mirror - mc cp allows for fine-tuned options for single files (but can bulk copy using --recursive) - mc mirror is focussed on bulk copying and can create buckets 출처 : https://stackoverflow.com/questions/5955..

분석계에서 데이터 당겨서 갈때, readonly로 주고 싶었음 secondary 만들어서 주는게 정석이지만, 과한 것 같아 radosgw + subuser + s3 policy로 구현함 요약 1. 상황 - readonly 계정이 필요함 - multi-site로 설정하기에는 너무 과함 2. 적용 - radosgw + subuser + s3 policy로 구현함 설명 1. 상황 - readonly 계정이 필요함 - multi-site로 설정하기에는 너무 과함 If the secondary zone needs to be a read-only configuration, update the secondary zone. # radosgw-admin zone modify --rgw-zone={zone-name} --..

ceph-dashboard에서 object-storage 메뉴가 나오도록 권한 설정하는 법 요약 1. ceph-dashboard에서 object-storage 메뉴가 안나옴 2. rgw-api-admin-resource를 설정하면됨 설명 1. ceph-dashboard에서 object-storage 메뉴가 안나옴 2. rgw-api-admin-resource를 설정하면됨 admin으로 주면 됨 ceph dashboard set-rgw-api-admin-resource admin 왜 admin인지 보려면 radosgw-admin으로 user를 보면 됨 tools로 보자 $ k exec -it rook-ceph-tools-7884798859-hmxw6 -n rook-ceph -- /bin/bash [rook..

jupyterhub에서 spark_submit 날렸는데, storage 설정 주지 않아서 문제가 생겼음 (ceph rgw 죽음) 요약 1. ceph rgw fail 발생 2. spark job에서 설정 누락 3. ceph rgw instance 늘림 설명 1. ceph rgw fail 발생 ceph rgw 죽어서 object storage 안됨 2. spark job에서 설정 누락 spark submit할때 local_storage 동적할당 안해서 부하가 생긴것으로 추정 fail 대비해서 replica 1개 올려야겠다고 생각함 3. ceph rgw instance 늘림 $ vi object.yaml gateway: instances: 2 #1 # 결과 $k get all -n rook-ceph | gre..

limit 1Gib 직전으로 메모리 사용률이 조절된다. OSD당 최소 4Gib 할당, 메모리 사용량은 공식 사용 요약 1. ceph osd 메모리가 tera 단위로 올라감 2. cluster.yaml에서 resource limit 수정함 설명 1. ceph osd 메모리가 tera 단위로 올라감 > 결론부터 말하면 어떻게 얼마를 적용해라라는 기준이 아직 없음. 권고만 있음 관련 글을 하나씩 보기로하자. 나와 비슷한 고민을 한 사람이 있음 참고: https://github.com/rook/rook/issues/5821 1-1. 공식 문서 참고 : https://github.com/rook/rook/blob/master/design/ceph/resource-constraints.md GitHub - rook..

1. ceph status || ceph -w standby active를 확인할 수 잇음 sh-4.4$ ceph status || ceph -w cluster: id: 9cc2dec6-5cbf-49c3-abdf-1eaa15ec54e2 health: HEALTH_OK services: mon: 3 daemons, quorum a,b,c (age 3h) mgr: a(active, since 13m) mds: 1/1 daemons up, 1 hot standby osd: 5 osds: 5 up (since 3h), 5 in (since 6w) rgw: 1 daemon active (1 hosts, 1 zones) data: volumes: 1/1 healthy pools: 11 pools, 177 pgs o..

우여곡절 끝에 dashboard를 켰다. (SSL, 등등) 그런데 설정값들이 안보이는 화면이 있음 try `ceph orch set backend` 라는 명령어를 치라는데 검색해보니 설정값을 키라는 것 $k exec -it rook-ceph-tools-74bb778c5-qmjhd -n rook-ceph -- /bin/sh sh-4.4$ ceph orch status Error ENOENT: No orchestrator configured (try `ceph orch set backend`) sh-4.4$ ceph mgr module enable rook sh-4.4$ ceph orch set backend rook sh-4.4$ ceph orch status Backend: rook Available: ..