기록의 공간 :: mightytedkim

airflow 스터디가 끝나서 후기를 작성해보려고 해요 (MBTI 극J인 조장을 만나서 고생하신 팀원들께 다시 감사합니다) 3개월 동안 진행했던 'Airflow 2.0' 을 통해 얻은 것을 정리했어요 스터디를 통해 저희가 무엇을 배웠는지를 이야기해보려 해요 이 포스팅의 독자는 아래와 같아요 airflow 스터디가 어떻게 진행되는지 궁금하신 분 책 내용이 궁금하지만 직접 보기는 망설여지시는 분들 구성 스터디 소개 스터디 회고 실무 적용 마무리 1. 스터디 소개 'slipp X 우아한 스터디'를 통해 스터디원을 모집했고, 어마어마한 선배님들이 신청을 해주셨어요. 주제: Airflow 2.0에 익숙해지고 상황별 사례 공유하기 목표: 배워서 실무에 적용해보기 산출물: 챕터별 스터디 내용 + Q&A 모음 자료: ..

(후기) 코로나 기간이라 온라인으로만 진행된 건 조금 아쉬웠지만 스터디 내용이 실무에 많이 도움 되었어요 :) 요약 기간: 2021.08.10 ~ 2021.11.16 (7회) 주제: 쿠버네티스 시작하기 목표: 쿠버네티스의 기본 구조 학습 방식: '15단계로 배우는 도커와 쿠버네티스' 함께 읽기 https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=252444358 15단계로 배우는 도커와 쿠버네티스 컨테이너 기술에 처음 입문하는 독자도 체계적으로 실력을 쌓아갈 수 있도록 도커부터 시작하여 쿠버네티스의 전반적인 기능을 기초부터 단계별로 학습할 수 있도록 구성되어 있다. 독자는 이 www.aladin.co.kr 내용 Slipp) K8S 스터디1주차_개념 잡기 https:..

2022.05~07, 3달동안 진행한 airflow 스터디를 끝내고 실무에 적용한 내용 일부를 정리햇어요 airflow를 운영하면서 가장 불편했던 부분은 'Task가 분리되지 않은 것' 이었어요 어디서 문제가 생겼는지 추적할 수도 없는게 불편했어요 데이터 흐름이 어떻게 되있는지 알 수 없었어요 멱등성, 원자성도 지켜지지 않았어요 예상 독자는 아래와 같아요 airflow 도입을 고민하는 분 airflow를 이제 막 사용하시는 분 airflow 관리가 어려운 운영 담당자 요약 문제: airflow에서 spark job이 간헐적으로 실패함 분석: task의 분리가 필요함 적용: task를 분리함 결과: 문제 발생 시점을 알 수 있고, 불필요한 작업을 줄일 수 있게됨 설명 1. 문제 airflow에서 spark..

이번 챕터는 평소 궁금하던 sensor에 대해서 공부할 수 있어서 재미있었어요. + TriggerDagRunOperator의 경우 복잡해서 사용안하려고 했는데, s3 이동 같은 작업은 클래스처럼 정의해서 사용할 수 있다는 이야기를 들어서 유레카였어요 요약 센서 : 특정 조건을 센서에 만족하도록 대기하기 트리거 : 서로 다른 DAG의 태스크간 의존성 설정하기 CLI/API : REST API 를 통해 워크 플로 실행하기 마무리 설명 1. 센서 : 특정 조건을 센서에 만족하도록 대기하기 로그를 당겨오거나, 작업이 언제 끝날지 기다리거나, hive 테이블에 파티션이 있는지 확인하는 작업에 활용 할 수 있어요 Sensor 특정 조건이 참인지 여부를 지속적으로 확인(polling)하는 특수 유형 오퍼레이터 필요한..

링크 : https://www.slipp.net/wiki/pages/viewpage.action?pageId=3276808650825 2주차 - (3장)airflow의 스케줄링 - SLS - SLiPP::위키 페이지 … Home 22차 SLiPP 스터디 Airflow 2.0 배너의 맨 끝으로 배너의 맨 처음으로 2주차 - (3장)airflow의 스케줄링 메타 데이터의 끝으로 건너뛰기 김학건님이 작성, 2022년 04월 26일에 최종 변경 메타 www.slipp.net 2번째 스터디가 시작했는데, 발표자 분이 피피티를 준비해오셨어요. 3장은 간단하지만 중요한 멱등성, 원자성의 개념이 있었고 각자 회사에서 이 원칙이 잘 지켜지는지 이야기하는 시간을 가졌습니다. 요약 1. 3장 발표 2. 3장 내용 관련 썰 ..

airflow2.0을 살펴보는 스터디 시작 2달간 책의 필요한 부분을 빠르게 훑어보는 것이 목표! 스터디명 : 'Airflow 2.0 익숙해지고 상황별 사례 공유하기' 책 :Apcache Airflow 기반의 데이터 파이프라인 (에어플로 중심의 워크폴로 구축에서 커스텀 텀포넌트 개발 및 배포,관리까지) 목표: 책 완독하기! 얼마전 한글 번역본이 나와서 책을 구매했는데 내용이 괜찮았어요 그런제 혼자서는 끝까지 보지 않을 것 같아서 스터디원들을 모았어요. 마침 slipp도 스터디 주제 제안 기간이고, 우아한 스터디와 콜라보도 진행하길래 질렀죠.ㅎㅎ https://puffy-stick-fa1.notion.site/SLiPP-X-Airflow-2-0-c86f6713faff446da4d30bd420dc02fe M..

이제 드디어 스터디에서 쿠버네티스를 시작했어요 ㅎㅎ 요약 발표자가 아닌 사회자를 통해서 스터디를 진행하고 있는데, 아직까지는 괜찮은 것 같아요 2시간을 채우지 못하면 어떡하나 생각했는데, 다들 질문도 많이 해주시고 시간이 오히려 부족하더라고요 (발표자가 아니다 보니까, 나에게 설명을 해주세요 느낌이 아니어서 더 열심히 스터디 준비를 하게되요 ㅎ) 3주차- 쿠버네티스 첫 걸음 & 매니페스트와 파드 - SLiPP 스터디 - SLiPP::위키 쿠버네티스 첫 걸음 클러스터 구성확인K8s 클러스터 환경의 정보 출력(macOS 미니쿠배싱글 노드 K8s 클러스터에서 구성 노드 출력Role : 책과 다르게 control-plane 이 나오는 이유?파드 실행파드는 쿠버 www.slipp.net 개인 공부 세팅하다가 시간..

지난 번에는 쿠버네티스가 무엇인지에 대해서 배웠고, https://mightytedkim.tistory.com/13 쿠네버티스) 1장 도커와 쿠버네티스의 개요 회사에서 쿠버네티스를 사용하게 되서, 개념을 공부하고 있어요 책은 15단계로 배우는 도커와 쿠버네티스 (깔끔한 설명과 자연스러운 번역이 장점인 것같아요) slipp스터디에서 9분과 함께 완독 mightytedkim.tistory.com 2장에서는 쿠버네티스와 연관이 많은 도커와 관련된 내용들이 나와요 SLIPP 21차 스터디에서 도커와 관련된 트러블 슈팅 경험등을 공유 했어요 0. 토의 내용 책 관련 p132. 컨테이너의 실체는 호스트 프로세스 vagrant 부분에 pts/0,1,2로 나뉘는거같은데, 4420, 4454부분이 pts가 바뀌는게 이해..