글또콘에서 Airflow Bad Practice 발표를 했어요!
오랜만의 발표라 그런지 떨리더라고요ㅎㅎ
발표 주제는 Airflow를 도입하고, 1년 전에 내가 하지 않았으면 하는 사례들을 공유했어요
예상 독자는 아래와 같아요
- 글또 신청을 고민하시는 분
- 다음 글또콘 발표를 고민하시는 분
입니다.
1. 마켓 컬리 도착
먼저 마켓컬리 18층 라운지에 미리 도착했고, 7시 20분에 글또콘이 시작했어요
버스타고 오다가 PPT에 오타를 발견해서, 성윤님 맥북에서 좀 수정하고. 데이터 엔지니어 자리에 앉아있었어요
곧 많은 분들이 오셨고, 뭐하시는 분이냐, 아 그 글쓰신 분이구나 하고 수다타임을 가졌구요
그러다가 금방 시간이 흘러서 성윤님이 사회를 보시고, 첫 발표를 바로 진행했어요
성윤님의 사회와 발표가 끝나고 저를 포함해서 3명의 발표가 있었어요
Airflow는 저, 테스트코드는 현구님, 글쓰기는 해나라님이 진행하셨어요
짧게 제 발표에 대해서 이야기하자면, 떨렸어요ㅋㅋ
아래는 제가 준비한 PPT에요 40쪽 정도되더라고요
80분 정도 오셨는데, 발표 시작 전에 분위기를 풀어보려고 질문을 던졌어요.
"Airflow 들어보신 분?
30분 정도가 손을 드시더라고요.
데엔 쪽은 거의 다 드셨고, 백엔드/프론트/데분/데싸에서도 꽤 드셨어요
"Jenkins 아시는 분?
거의 반이상, 약 50분 정도가 손 드시더라고요
이 정도면 수줍어하시는 분 빼고 다들었다고 생각해요
"Airflow를 한 마디로 표현하면, 이쁜 젠킨스에요 ㅎㅎ
속으로 "예상보다 Airflow 많이 아시는구나! 이쁜 젠킨스가 각인이 되야할텐데.." 생각했어요
뒤에 이쁜 젠킨스라고 설명하는 PPT가 나오지만 미리 설명하고 싶었어요
이쁜 젠킨스라고 열변을 토하는 발표자에요.
Airflow 설명이 끝나고 나서는 제 구축기에 대해서 짧게 설명했어요
제 발표를 왜 끝까지 집중해서 들어야하는지 설득하고 싶었거든요
Airflow 도입을 생각하시는 분들 고민이 다 비슷하더라고요
- Managed Service로 가야하는지
- K8s에 올려야하는지
- 다른 대안은 없는지
이런 분들이 겪을 감정을 공략하기로 했어요
- 대혼돈의 시대를 나도 겪을 것 같은데?
- 나도 지금 겪고 있는데 ㅜㅜ
Airflow가 무엇인지, 왜 이 발표를 들어야하는지 짧게 설명하고
발표의 핵심인 Bad Practice에 대해 설명을 시작했어요
1. Python Operator의 역습
첫번째는 Python Operator.. 이 매력적이지만 종잡을 수 없는 아이에 대해서 이야기했어요
너무 높은 자유도로 제가 고통 받은 내용을 전달하고 싶었어요
"일진 짤"에 Python 로고를 올리기로 결정했습니다.
2. Task는 심플하게
"하나의 바구니에 모든 달걀을 넣지 말자" 를 키워드로
task를 적절히 분리하자는 메시지를 전달하고 싶었어요
3. 모두를 위한 Batch 는 없다
이 부분은 한정되 자원에서는 "Airflow의 목적을 명확히 해야한다" 를 전하고 싶었어요'
cloud거나, cluster가 많으면 여러 용도의 batch job을 돌려도 문제가 없으니까요
긴장해서 그런지 그 설명을 빼먹은 것 같아요...
+ 발표 끝나고 네트워킹 시간에 여러개의 airflow cluster를 운영 중이신 분이 조언을 주셨어요
Workflow Management Tool이기 때문에 용도에 맞게 cluster를 분리하면 된다고요.
- '중요도가 높은 data pipeline용 airflow' 클러스터
- '중요도가 낮은 반복 작업을 실행하는 airflow' 클러스터
한정된 자원에서는 pipeline용 airflow job에 집중해야한다는 내용을 설명했어야하는데 더더욱 아쉽네요ㅜ
마무리
마지막은 데엔-a 그룹에 있는 재은님의 글 캡처로 끝냈습니다
Airflow가 핫하지만 취향의 영역이니, 상황에 맞게 판단하면 된다고요ㅎㅎ
혼자 흥분해서 20분간 떠든 것 같아요. 정확히 무슨 말했는지 기억이 나지 않아요.
다만 아래 3가지를 신경썼어요
- 드립으로 아이스 브레이킹하기
- 목소리를 최대한 크게해서 뒤에까지 들리게 하기
- 중간에 나라 잃은 표정으로 Bad Practice 설명 극대화시키기
발표하고 나니 뿌듯하네요.
많은 분들이 글또콘 후기를 작성해주셨어요
그 중에서 제 발표 관련된 것만 캡쳐했어요.
시연님의 블로그 후기
"흥미진진한 흐름" 크으으으
압도적 감사드립니다. 이것만으로도 성공적인 발표라고 생각합니다 ㅎ
짧고 간결하게 너무 잘 정리해주셧어요
[글또콘 후기] 2022 글또콘
😄 서론 8월 25일 글또콘을 다녀왔다.😄 마침 방학이겠다~ 설레는 마음으로 부담없이 참여했다. 도착하니 한 70명 정도? 많은 사람들이 모여있었다. 아는 사람이 거의 없던 터라 쭈뼛쭈뼛하며 백
yeonyeon.tistory.com
호성님의 블로그 후기
바로 당일에 후기를 올려주셨는데.
전달하고자 한 내용이 다 들어가서 감동이었습니다.
호성님도 "이쁜 젠킨스" 라고 요약한 부분이 인상 깊으셨나봐요. (후훗)
글또콘후기
흔치 않은 글 쓰는 개발자들의 모임 | 오늘 마켓컬리 사무실에서 글또콘이 열렸다. 60~70명 정도가 모인 느낌이다. 코로나 이후로 오랜만에 느껴보는 북적북적한 분위기다. 안내에 따라
brunch.co.kr
성윤님의 글또콘 회고
성윤님이 Facebook에 남긴 후기 중에서 8번이 '글또콘 리허설'과 관련된 내용이더라고요
8.
발표자분들과 1주 전에 모여서 사전 리허설을 진행했어요.
당일에 발표하신 모습을 보니 리허설을 하길 잘했다란 생각이 들었어요.
발표 피드백은 살면서 받기 힘든데,
글또에서 이런 활동을 해서 발표에 대한 두려움을 없애고 더 발전하시길 희망해요.
많은 도움이되서 따로 글로 정리햇어요ㅎ
https://mightytedkim.tistory.com/157
글또) 글또콘 리허설&피드백 후기_Airflow Bad Practice 걷어내기
글또콘에서 발표를 했는데, 준비과정에 대해서 기록해봤어요 1주일 전 리허설&피드백으로 PPT 구성을 잡는데 도움이 되었습니다ㅎ 글또콘 후기는 아래 글을 확인해주세요 https://mightytedkim.tistory.c
mightytedkim.tistory.com
마무리
글또 5,6,7기 활동을 하면서 글쓰는 습관을 만들었는데 발표까지 할 수 있어서 너무 만족스럽네요.
코로나 기간 동안 발표 기회가 많지 않아 더더욱 감사한 자리였어요.
준비해주신 운영진, 함께 발표한 나라님/현구님, 참석해주신 모든 분들 감사합니다 :)
다음 모임도 기대가 됩니다 :)
'커뮤니티 > 글또' 카테고리의 다른 글
| 글또) 8기 다짐글(2023.02 ~ 2023.08) (0) | 2023.02.11 |
|---|---|
| 글또) 리허설 없었으면 망신당했을 글또콘 발표_Airflow Bad Practice 걷어내기 (2) | 2022.08.29 |
| 글또) 5기 후기(2020.12 ~ 2021.05)_elk,mongodb (0) | 2022.03.26 |
| 글또) 6기 후기(2021.11 ~ 2022.02)_k8s (0) | 2021.12.28 |
| 글또) 6기 다짐글(2021.11 ~ 2022.02)_k8s (0) | 2021.07.25 |