'데이터 엔지니어'로 성장하기

정리하는 걸 좋아하고, 남이 읽으면 더 좋아함

커뮤니티/slipp

Slipp) '우아한 스터디' 진행 상황 발표_네트워킹 데이

MightyTedKim 2022. 7. 29. 08:05
728x90
반응형

 

2022-07-19(화) '우아한 스터디 네트워킹 데이' 에서
3개월간 'Airflow 2.0' 스터디를 어떻게 진행했는지 공유했어요


Airflow 2.0 스터디 참석률이 97.8% 였는데, 어떻게 운영했는지 짧게 썰을 풀었어요

 

예상 청중은 아래와 같았어요

  • 우아한 스터디를 진행하고 있는 내/외부 개발자
  • Slipp 개발자 스터디 커뮤니티에 관심이 있는 분
  • Airflow 2.0에 대해서 궁금한 분

솔직히 SLIPP 스터디 홍보가 1순위였어요 (저도 이제 1년 밖에 안했지만요)

우아한 네트워킹 데이

요약

  1. 발표 내용
    1. 목표 설정
    2. 종료 회고
    3. 실무 적용
    4. 결과물
  2. 마무리

설명

발표 내용

총 3팀이 발표했고, 저는 재성님의 SLIPP 소개 세션 마지막을 허락 받았어요

참석률 97.8%

3개월 간의 스터디 동안  'Data Pipelines with Apache Airflow' 책을 봤어요

팀원들끼리도 참석률이 다른 스터디에 비해 높아서 왜 그랬나 고민했는데

그 내용을 발표했습니다 ㅎ


1. 목표 설정

하나를 뽑자면 '목표 설정을 구체적으로 했다'는 점이었어요

 

먼저 스터디 전에는 '공동 목표' 를 설정했는데

스터디원 모집용으로 사용했어요. 

 

'개별 목표'는 OT 때 1시간 가량 스무고개를 하면서 구체화했어요.

첫 만남이라 어색하기도 했지만 덕분에 각자 무엇을 가져가고 싶은지 알 수 있었어요

  1. 사용경험
    1. 경험 X: 1명
    2. 사용 O: 3명
    3. 구축 O: 1명
  2. 관심 목차(책에서)
    1. 김학건: taskflow api, sensor + 타회사 사례 공유
    2. 김미하: 의존성, test
    3. 강대권: xcom, trigger
    4. 한진욱: custom 오퍼레이터
    5. 이고운: 전체적으로 흐름 파악

이렇게 하면 좋은 점은 상대방의 개별 목표내 목표가 될 수 있기 때문이에요.

저도 test는 생각도 하지 않았다가 관심있어하는 스티디원 덕분에 더 생각해보게 되었어요.

 

그리고 발표 순서를 정할 때 참고할 수 있어요

경험이 없으신 분에게 초반 개념 잡기에 좋은 Jinja template 발표를 추천한단던가

'test'에 관심 있으신 분에게 해당 발표를 할 수 있냐고 요청할 수 있거든요

 

2. 종료 회고

마지막 날에는 무엇을 배웠는지 주차별로 리뷰를 했어요

  • 이 때는 무슨 말인지 몰랐는데, 이제는 이해가는 부분
  • 실무에 어떻게 적용하면 좋을지 

등을 이야기하고 각자 무엇을 배웠는지 글로 남겼어요.

지금 정리하고 있는 이 포스팅도 마지막 날

 "우리 참석률 왜 이렇게 높았죠?" 에 대해 이야기하다가 나왔어요 ㅋㅋ


3. 실무 적용

너무 airflow 에 대해서 이야기를 하지 않은 것 같아서

스터디 이후 실무에 적용하고 있는 사례를 아주 짧게 언급했어요.  (관련해서는 다른 글에 따로 정리했습니다)

 

'Custom Operator' 서용하기 (Operator/Hook)

https://mightytedkim.tistory.com/150

 

Airflow) 'Custom Operator' 실무 적용하기_s3,hook

스터디를 통해 배운 내용을 실무에 정리한 글이에요 책의 8장 내용 custom operator를 참고했습니다. airflow를 운영하면서 가장 불안했던 부분은 '관리가 힘든 것' 이었어요 Python을 사용해서 개발자/

mightytedkim.tistory.com

 

Task 적절히 분리하기(멱등성/ 원자성)

https://mightytedkim.tistory.com/121?category=928713 

 

Airflow) 'Task 분리' 실무 적용하기 _k8s/spark

2022.05~07, 3달동안 진행한 airflow 스터디를 끝내고 실무에 적용한 내용 일부를 정리햇어요 airflow를 운영하면서 가장 불편했던 부분은 'Task가 분리되지 않은 것' 이었어요 어디서 문제가 생겼는지

mightytedkim.tistory.com


4. 결과물

각 챕터별로 우리가 했던 질문과 후기들을 따로 정리했어요.

나중에 다시 찾아보게 되거나, 책을 보시려는 분들에게 도움이 되었으면 합니다.


마무리

이런 행사를 기획해주신 배민 developer relationship 팀 애정합니다.

개발자들 앞에서 기술이 아니라, 스터디 운영 방식에 대해서 발표한게 재밌었어요

이제 좀 쉬다가 하반기 스터디 뭐할지 고민해야겠습니다 ㅎ

 

 

추가 정리

https://mightytedkim.tistory.com/139?category=985725

 

Slipp) Airflow 2.0 스터디 후기_22기

airflow 스터디가 끝나서 후기를 작성해보려고 해요 (MBTI 극J인 조장을 만나서 고생하신 팀원들께 다시 감사합니다) 3개월 동안 진행했던 'Airflow 2.0' 을 통해 얻은 것을 정리했어요 스터디를 통해

mightytedkim.tistory.com

https://mightytedkim.tistory.com/121?category=928713 

 

Airflow) 'Custom Operator' 실무 적용하기_s3,hook

스터디를 통해 배운 내용을 실무에 정리한 글이에요 책의 8장 내용 custom operator를 참고했습니다. airflow를 운영하면서 가장 불안했던 부분은 '관리가 힘든 것' 이었어요 Python을 사용해서 개발자/

mightytedkim.tistory.com

https://mightytedkim.tistory.com/150?category=928713 

 

Airflow) 'Task 분리' 실무 적용하기 _k8s/spark

2022.05~07, 3달동안 진행한 airflow 스터디를 끝내고 실무에 적용한 내용 일부를 정리햇어요 airflow를 운영하면서 가장 불편했던 부분은 'Task가 분리되지 않은 것' 이었어요 어디서 문제가 생겼는지

mightytedkim.tistory.com

 

 

 

728x90
반응형