기록의 공간 :: mightytedkim

요약 1. disk 용량이 꽉참 2. mysql binary 때문이었음 3. 삭제하고, 저장 주기 조정함 설명 1. disk 용량이 꽉참 2. mysql binary 때문이었음 ls -al | grep mysql total 14916268 drwxrwsr-x 11 1001 1001 4096 Apr 25 04:24 . drwxrwsrwx 4 root 1001 4096 Dec 6 09:26 .. drwxrws--- 2 1001 1001 4096 Dec 6 09:26 mysql -rw-rw---- 1 1001 1001 1453 Dec 6 09:26 mysql-bin.000001 -rw-rw---- 1 1001 1001 509183729 Dec 14 05:59 mysql-bin.000002 -rw-rw---- ..

구글링할 때 이런 에러로 검색하니 나옴, pvc 할당을 늘려줌 -> binary 파일을 삭제하지 않아서 그런거였음 + 추가 갑자기 pvc가 늘어난 원인을 찾았음 실시간 대용량 log 데이터를 바로 mariadb로 insert하고 있었음 그것도 1 connection, 1 insert kafka, redis 같은 큐 사용 왜하지 않았냐고 물으니까. 이렇게 많을 줄 몰랐다고.. 말인지 방구인지 문제 오픈했는데, 일단 이렇게 진행하자는 대답이 들어옴... 믿을 수 없음. 책임만 있고 권한은 없는 관리자가 나임 요약 문제발생 원인분석 조치 설명 1. 문제 발생 HQ mariadb 접속 안되는 문제 발생 2. 원인 분석 kubernetes pod CrashLoopBackOff, 재시작이 안되는 문제 -> pvc를..

한줄 요약: 서버 리붓하고 osd가 Init:CrashLoopBackOff 나서 내 마음도 함께 박살남 요약 1. vm 으로 구성되어 있는 cluster에 memory 를 늘리는 과정서 node들을 재시작함 2. 6개 클러스터를 한번에 재시작함 3. osd가 다시 살아나지 않음 4. vgchange -ay로 logical volume을 활성화시킴 설명 1. vm 으로 구성되어 있는 cluster에 memory 를 늘리는 과정서 node들을 재시작함 jupyterhub 설치하고 notebook 이미지 변경하다가, insufficient 메모리 에러가 나옴 vm cluster 메모리 할당을 늘림 2. 6개 클러스터를 한번에 재시작함 여기까지는 평화로웠음 3. osd가 다시 살아나지 않음 망함. osd 올라가..

버전 rook-1.7.5 k8s 1.22 주요 프로세스 - ceph-mon: Cluster monitor로 active / failed node 확인하는 역할을 수행하며 ceph storage cluster map의 master copy를 유지 - ceph-mds: Metadata server로 inode와 디렉토리들의 메타데이터(filesystem의 디렉토리 및 파일이름, RADOS cluster에 저장된 object로의 매핑정보) 를 저장 - ceph-osd: Object storage devices. 실제 파일 내용을 저장하고 OSD의 상태를 확인해서 monitor에 알려주는 역할도 수행 - ceph-rgw: RESTful gateways. Object storage layer를 외부에 노출시키기 ..