xen) vg not available 해결_reboot,vgchange -ay,k8s

 

한줄 요약: 서버 리붓하고 osd가 Init:CrashLoopBackOff 나서 내 마음도 함께 박살남

요약

1. vm 으로 구성되어 있는 cluster에 memory 를 늘리는 과정서 node들을 재시작함

2. 6개 클러스터를 한번에 재시작함

3. osd가 다시 살아나지 않음

4. vgchange -ay로 logical volume을 활성화시킴

설명

1. vm 으로 구성되어 있는 cluster에 memory 를 늘리는 과정서 node들을 재시작함

jupyterhub  설치하고 notebook 이미지 변경하다가, insufficient 메모리 에러가 나옴

vm cluster 메모리 할당을 늘림

2. 6개 클러스터를 한번에 재시작함

여기까지는 평화로웠음

3. osd가 다시 살아나지 않음

망함. osd 올라가지 않아, pvc사용하는 pod들 모두 에러나옴

에러 로그

$ k get deploy rook-ceph-osd-0 -o yaml status:   conditions:   - lastTransitionTime: "2022-01-26T03:56:31Z"     lastUpdateTime: "2022-03-14T02:07:13Z"     message: ReplicaSet "rook-ceph-osd-0-5f94d989d4" has successfully progressed.     reason: NewReplicaSetAvailable     status: "True"     type: Progressing   - lastTransitionTime: "2022-03-28T08:17:32Z"     lastUpdateTime: "2022-03-28T08:17:32Z"     message: Deployment does not have minimum availability.     reason: MinimumReplicasUnavailable     status: "False"     type: Available   observedGeneration: 3   replicas: 1   unavailableReplicas: 1   updatedReplicas: 1 $ k describe pod -n rook-ceph rook-ceph-osd-0 Events:   Type     Reason   Age                   From     Message   ----     ------   ----                  ----     -------   Warning  BackOff  11s (x4133 over 14h)  kubelet  Back-off restarting failed container

# down된 osd의 node에 들어가 $ k get po -n rook-ceph -o wide| grep osd rook-ceph-osd-0-5f94d989d4-9ncz5      0/1     Init:CrashLoopBackOff  node04  rook-ceph-osd-1-7588679c7c-k8bgp   0/1       Init:CrashLoopBackOf node05 --- # node04 ssh $ sudo yum install lvm2 -y $ sudo lvdisplay | grep Status   LV Status              NOT available #결과 없음 $ sudo vgdisplay -A

4. vgchange -ay로 logical volume을 활성화시킴

활성화 시켜줌

$ sudo vgchange -ay   1 logical volume(s) in volume group "ceph-9f4bc356-25a9-4623-8284-6eaa0a36c58e" now active $ sudo lvdisplay | grep Status   LV Status              available #결과 나옴 $ sudo vgdisplay -A   --- Volume group ---   VG Name               ceph-9f4bc356-25a9-4623-8284-6eaa0a36c58e   System ID   Format                lvm2   Metadata Areas        1   Metadata Sequence No  5   VG Access             read/write   VG Status             resizable   MAX LV                0   Cur LV                1   Open LV               0   Max PV                0   Cur PV                1   Act PV                1   VG Size               <1024.00 GiB   PE Size               4.00 MiB   Total PE              262143   Alloc PE / Size       262143 / <1024.00 GiB   Free  PE / Size       0 / 0   VG UUID               Zl50wk-eIvD-IZ0B-VQ3w-ONDV-do2P-hHbpa6

참고

https://lists.ceph.io/hyperkitty/list/dev@ceph.io/thread/IMQNJU3PITHSK2BYXBCCA6JCGUVRIVX5/