Ceph)rgw instance 늘리기_ephemeral storage

jupyterhub에서 spark_submit 날렸는데, storage 설정 주지 않아서 문제가 생겼음 (ceph rgw 죽음)

요약

1. ceph rgw fail 발생

2. spark job에서 설정 누락

3. ceph rgw instance 늘림

설명

1. ceph rgw fail 발생

ceph rgw 죽어서 object storage 안됨

 

2. spark job에서 설정 누락

spark submit할때 local_storage 동적할당 안해서 부하가 생긴것으로 추정

fail 대비해서 replica 1개 올려야겠다고 생각함

 

3. ceph rgw instance 늘림

$ vi object.yaml   gateway:     instances: 2 #1 # 결과 $k get all -n rook-ceph | grep rgw pod/rook-ceph-rgw-my-store-a-5545f***-hc*** 1/1 Running 0 48s pod/rook-ceph-rgw-my-store-a-5545f***-xg*** 1/1 Running 0 48s deployment.apps/rook-ceph-rgw-my-store-a 2/2 2 2 142d replicaset.apps/rook-ceph-rgw-my-store-a-5545fc*** 2 2 2 48s replicaset.apps/rook-ceph-rgw-my-store-a-7875fb*** 0 0 0 27d

2개 올라갔고 하나씩 죽이면서 write 테스트해봤는데, 이상없이 작동하는 것확인

 

+ 일주일 사용 후기

그라파나로 사용량을 보니까, 부하가 잘 분배되는 것을 확인할 수 잇었다.