'데이터 엔지니어'로 성장하기

정리하는 걸 좋아하고, 남이 읽으면 더 좋아함

Storage 29

Ceph) 기타 설정_memory, mgr replication, osd 지정

1. OSD memory 설정 OSD pod의 memory request값과 limit값을 설정하는 방법 request: pod생성시 메모리 최소 필요량 limit: 메모리가 해당 값 도달시 pod 재시작 cluster.yaml 수정 [manager@master:rook/deploy/examples]$ vi cluster.yaml osd: limits: cpu: "1000m" memory: "3Gi" requests: cpu: "500m" memory: "1025Mi" 2. MGR Replication 설정 MGR의 Deployments 자체를 2개 생성하는 방법이므로 Replicaset의 replica factor를 2로 설정하는 방법과 비교 테스트 후 운영 서버 적용 필요 cluster.yaml 수정..

Storage/Ceph 2022.12.23

ceph) osd 초기화시키_TYPE="ceph_bluestore" 초기화

rook-ceph연습하다가 osd 추가 삭제 연습을 하고 있었어요 그런데 osd가 자동 매핑되려면, 비어있어야하는데 기존 데이터와 서명이 남아있어서 문제가 생겼어요 skipping device "sdc" because it contains a filesystem "LVM2_member". cox@k8sworker1:/root$ blkid /dev/nvme0n1p1: LABEL="cloudimg-rootfs" UUID="93e5a202-73de-4bd5-8826-61ca0bcc099f" BLOCK_SIZE="4096" TYPE="ext4" PARTUUID="cbb5015f-ca94-467b-91ae-cce97828a042" /dev/nvme0n1p15: LABEL_FATBOOT="UEFI" LABEL="U..

Storage/Ceph 2022.11.30

Mariadb) import 후 mysql.user empty 현상

요약 MYSQL import 후 flush privilege 하니 login이 안됨 sudo 권한이 없기 때문에 조치를 할수가 없었음 다행히 세팅 기간이라, db 날리고 다시 import함 logout 하고 다시 들어와서 flush하니가 됨 상황 sqldump를 뜨고 mysql.user 테이블을 조회하니 아무 값이 나오지 않음 혹시 flush privileges 문제인가 싶어서 입력하면 root@localhost도 권한이 사라져서 접속 자체가 안되는 현상 발견 https://dba.stackexchange.com/questions/112620/mysql-users-not-visible-after-import MySQL users not visible after import I have a Percona ..

Storage/RDMS 2022.09.22

Kubernetes) helm mariadb innodb recovery 하기

주말 쉬고 오니까 mariadb가 내려가있더라고요 crashloopbackoff 가 돌고 있길래 급하게 pvc를 백업하고 살펴봤습니다. $ k get pod -n mariadb NAME READY STATUS RESTARTS AGE mariadb-primary-0 0/1 CrashLoopBackOff 562 (2m2s ago) 117d 요약 결론 부터 말하면, innodb_force_recovery=5로 해결했습니다. 여전히 tablespace error가 나오길래, sqldump 후 .sql 을 local에 저장하고 새로운 mariadb를 만들고 import 시켰습니다. 예상 독자는 아래와 같아요 helm mariadb를 돌리다 장애나신 분 mariadb heuristic recovery가 안되는 분 ..

Storage/mariadb 2022.09.21

Ceph) k8s_rook-ceph_osd 제거하기

개발계 k8s cluster를 xen server의 vm에 올려 사용하고 있어요 그런데 snapshot 버그 이슈로, SR(storage repository)가 꽉차는 문제가 발생했어요. disk를 확보해야했기 때문에 osd를 하나씩 삭제하고, 다른 hdd를 할당해줬습니다. (osd는 down되도, 데이터가 날라가지 않으니까요) 나중에 까먹을 것 같아서 정리해요 요약 상황 조치 기타 설명 상황 k8s02서버의 ceph가 꽉차서, write가 되지 않는 문제에요 [rook@rook-ceph-tools-74bb778c5-mpzhl /]$ ceph osd status ID HOST USED AVAIL WR OPS WR DATA RD OPS RD DATA STATE 0 k8s04 6210M 1017G 1 10...

Storage/Ceph 2022.08.23

Mongodb) 개발자가 알면 좋은 mongodb_동기스터디

2년전에 회사에서 동기 스터디하면서 정리했던 내용인데 Mongodb) 개발자가 알면 좋은 Mongodb_동기스터디 발표 rdbms만 하다가, nosql을 공부하니 신세계였어요 2주 전에 동기들 모아놓고, Mongodb를 알려줫어요 P글또 5기(개발자 글쓰기 모임)서 피피티 프드백을 해주셨어요 (너무나 소중한 피드백ㅜ 글또를 시작한 이유죠) 그래서 PPT로 발표한 내용을 좀 더 쉽게 풀어써보려고해요 :)​ 타겟 : 게으른 개발자 == 동기 1. RDBMS만 익숙한 개발자 2. 누군가 떠먹여줬으면 좋겠는 개발자 3. 그냥 궁금한 개발자 https://github.com/MightyTedKim/mongodb_helloworld 목표 : 겉햝기 CRUD 위주의 철저한 Hello-world 1. mongodb란:..

Storage/Mongodb 2022.07.09

ELK) snapshot 저장하기(slm)

2년 전 정리 아카이브 https://velog.io/@deet1107/snapshot-%EC%A0%80%EC%9E%A5%ED%95%98%EA%B8%B0 backup하는 것은 중요하죠. 처음에 할 때 헷갈려서 정리해봤어요 데이터 날리면 음.. 고소당할 수 읍 읍 최소 시말서 각ㅋㅋ 그래서 따로 정리해봤습니다 ㅎ https://www.elastic.co/guide/en/elasticsearch/reference/current/snapshot-restore.html 주의사항 indices를 close 해야함 파일 경로를 설정해야함 elasticsearch.yml repo.path: ["my_backup_location"] 전체 인덱스 백업하기 인덱스 하나씩 지우기 귀찮아서 전체 날렸습니다. rm -rf /v..

Storage/ELK 2022.07.09

Elasticsearch 관리하기(메모용)

2년전 공부한것 아카이브 https://velog.io/@deet1107/elastic-mng 여기는 전문적인 내용이 아니라, 제가 보고 있는 인강의 내용을 정리하는 곳이에요 실무 팁을 원하시는 분들은 그냥 가볍게 훑어만 주세요 (udemy, frank kane, elasticsearhc7 ) @frank kane, ur lecture is wonderful :) just in case if u see this lol. alias 처음 elasticsearch를 공부할 때 인덱스를 매번 만들어야하는지 궁금했어요 (join이 안된다고 하니까..) 그런데 리눅스의 alias처럼 별칭을 사용하는 방법이 있었습니다. 방법도 거의 똑같아요 ㅎ 예시 : apache-20200101, apache-20200102 +..

Storage/ELK 2022.07.09

ELK) 데이터 집계/변환/저장(Logstash, filebeat)

2년전 elasticsearch 공부 아카이브 https://velog.io/@deet1107/logstash-filebeat 데이터 집계/변환/저장(Logstash, filebeat) 이제 elk에 대한 hello world는 끝난 거 같아서logstash를 보고 있어요udemy의 Frank Kane 형님 강의를 정리했어요출처: https://www.udemy.com/course/elasticsearch-7-and-elastic-stack/ velog.io 이제 elk에 대한 hello world는 끝난 거 같아서 logstash를 보고 있어요 udemy의 Frank Kane 형님 강의를 정리했어요 출처: https://www.udemy.com/course/elasticsearch-7-and-elast..

Storage/ELK 2022.07.09

ELK) Elasticsearch Hello World

https://velog.io/@deet1107/ElasticSearch-Hello-World 2년 전에 elasticsearch 공부했던 것 아카이브 ElasticSearch 기본 개념 정리 ELK 는 흔히들 말하는 elasticsearch, logstash, kibana에요 최근에는 filebeat가 추가되면서 elk stack으로 불리기도 해요 여기서는 elk 중에서 elasticsearch를 중점적으로 보려고 해요 참고 자료 책 엘라스틱서치 실무 가이드 : 한글 검색 시스템 구축부터 대용량 클러스터 운영까지 한글 형태소 분석과 suggest api 등을 엄청 자세히 설명해주십니다. 진짜 입문하기 너무너무너무 좋은 책이에요 아프리카 TV elasticsearch 도입기 내가 했던 모든 고민 포함, ..

Storage/ELK 2022.07.09