'데이터 엔지니어'로 성장하기

정리하는 걸 좋아하고, 남이 읽으면 더 좋아함

시행착오 2

Kubernetes)rook-Ceph 세팅 관련_sc,cephfs

버전 rook-1.7.5 k8s 1.22 주요 프로세스 - ceph-mon: Cluster monitor로 active / failed node 확인하는 역할을 수행하며 ceph storage cluster map의 master copy를 유지 - ceph-mds: Metadata server로 inode와 디렉토리들의 메타데이터(filesystem의 디렉토리 및 파일이름, RADOS cluster에 저장된 object로의 매핑정보) 를 저장 - ceph-osd: Object storage devices. 실제 파일 내용을 저장하고 OSD의 상태를 확인해서 monitor에 알려주는 역할도 수행 - ceph-rgw: RESTful gateways. Object storage layer를 외부에 노출시키기 ..

Storage/Ceph 2022.02.21

Airflow) Hello world와 시행착오_celery worker,버그

최근에 airflow를 공부하고 있어요ㅎ 대표사진 삭제 사진 편집 작게작게문서 너비문서 너비옆트임옆트임 삭제삭제 사진 설명을 입력하세요. 그냥 "배치 돌리는 어플리케이션" 으로만 알고 있던 제가 하나씩 알아가며 메모를 하는 포스팅입니다 :) Airflow '워크플로우 관리 플랫폼' 으로 최근에 핫하게 사용되고 있어요. airbnb 에서 2016년에 만들어졌어요. 2020년에 2.0이 나오면서 더 강력해졌어요(이뻐짐) 장점 1. python : 가장 큰 장점, python으로 쉽게 접근이 가능 (데이터 분석가, 현업) 2. hello world 쉬움 : 한시간이면 만들 수 있어요 3. UI : 이쁘고 직관적이에요. 2.0으로 넘어오면서 엄청 이뻐졋어요 4. cloud 벤더 : cloud에서 운영하는 서비스..

Data/Airflow 2021.10.09