'데이터 엔지니어'로 성장하기

정리하는 걸 좋아하고, 남이 읽으면 더 좋아함

커뮤니티 14

글또 9기 스타트 - "여러분 커피 마셔요"

안녕하세요! 난쏘공입니다. 3년 전부터 글쓰기 모임에 참여하고 있는데 기수마다 `목표`와 `글감`을 정리하며 시작하고 있어요,[5기, 20.11 ~ 21.05] - 글쓰는 습관 만들자! (ELK, mongodb, docker)[6기, 21.11 ~ 22.05] - 개발자 인맥 만들자! (kubernetes, Airflow, Spark)[7기, 22.05 ~ 22.11] - 글또콘에서 발표 해보자! (superset, trino, k8s)[8기, 23.02 ~ 23.08] - 사이드 프로젝트 해보자! (k8s, strimzi, questdb, argocd)이번 기수에서는 커피챗으로 글또 분들을 많이 만나고, vision 플랫폼을 만들며 사용한 오픈소스들에 대해 포스팅 할 예정입니다.[9기, 23.12 ~ ..

커뮤니티/글또 2023.11.27

회고)23년 상반기_스타트업 합류 + 커뮤니티

마음대로 생각나느대로 적는 의식의 흐름 회고입니다. ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 저는 작년 말에 스타트업에 합류했어요 살면서 가장 다이나믹했던 시기를 정리해보려고 해요 스타트업 합류_데이터 엔지니어 HW 기반 스타트업의 AI플랫폼팀 빌딩 멤버로 시작 `반지형` 웨어러블 마우스를 만드는 회사에 합류했어요. 3차원 공간을 통제하겠다는 목표로 소형 컨트롤러를 만드는 회사인데. 더 정밀한 통제를 위해 SW팀을 빌딩 중이더라고요 https://www.youtube.com/watch?v=uHEO3xxgYrk 모든 스타트업들이 그러하겠지만, 격동의 시기에 합류했더라고요. 이전 회사에서는 당연했던 것들이 당연하지 않았거든요. - 채용 공고는 인사팀에 요청하면 되는 거였고, - 코드와 자료는 기존 시스템에 맞게 정..

커뮤니티/글또 2023.07.16

Slipp)사이드프로젝트_스마트폰 센서 실시간 저장_2(기능 추가,버그 수정)

요약 '스마트폰 센서 실시간 저장/시각화' 토이 프로젝트를 하고 있어요. 지난 포스팅에서는 외국 블로그를 참고해서, k8s에 서비스를 올리는 것까지 진행했어요' 이번에는 몇가지 기능을 추가하고 버그를 수정하려고 합니다.ㅎ https://mightytedkim.tistory.com/196 Slipp)사이드프로젝트_센서 실시간 저장_1(strimzi,questdb,fastapi) '토이프로젝트 만들기' 스터디를 신청해서 진행 중입니다. 1차 목표인, 휴대폰 데이터 스트리밍은 성공했고 그 후기를 정리했습니다 스터디 시작 - 아주 작은 사이드 프로젝트(아작사) 스터디를 mightytedkim.tistory.com 예상 독자 이 친구가 뭘 수정했나 궁금하신 분 스마트폰의 센서 데이터를 수집하시려는 분 아래 블로그..

커뮤니티/slipp 2023.06.18

Slipp)사이드프로젝트_센서 실시간 저장_1(strimzi,questdb,fastapi)

요약 '토이프로젝트 만들기' 스터디를 신청해서 진행 중입니다. 1차 목표인, 휴대폰 데이터 스트리밍은 성공했고 그 후기를 정리했습니다 예상 독자 이 친구가 뭘 수정했나 궁금하신 분 스마트폰의 센서 데이터를 수집하시려는 분 아래 블로그 포스팅을 고도화하고 싶으신 분 https://towardsdatascience.com/a-real-time-streaming-project-with-smartphone-data-7e838a1b009d 결과물 [주제 구상] - 무엇을 주제로 선택할까 휴대폰의 센서 데이터 수집 업무가 주로 실시간 데이터 파이프라인을 구축임데, 보내는 쪽의 데이터를 선택할 수 없는게 좀 아쉽더라고요. (공장에서 보내는 것을 그냥 받아야하니까ㅜ) 그래서 제가 선택할 수 있는 데이터는 무엇이 있을까..

커뮤니티/slipp 2023.05.21

글또) 8기 다짐글(2023.02 ~ 2023.08)

5기부터 시작했던 글또가 벌써 7기가 되었어요 각 기수별로 적었던 글들을 쭉 보니까 기분이 이상해요ㅋㅋ [각 기수별 작성 주제 ] * 5기: elasticsearch * 6기: kubernetes * 7기: airflow (글또콘 발표) (현주님의 글또 다짐글에 지난 기수 회고와 반성을 재미있게 봐서 템플릿을 복사해왔습니다) 현주님 글또8기 다짐글 : https://hazel-developer.tistory.com/306 지난 기수에 대한 회고와 반성 1) 활동의 성실성 여부 상 - 제출하기 실수한 것 빼고는 빠짐없이 글을 씀 - 작성했던 글 내용을 정리해서 글또콘에서 Airflow 발표함 - 커피챗 3번을 참가해서 좋은 분들 만남 2) 글의 퀄리티 중 - 처음에는 잘쓰다가, 나중에 힘이 빠짐 - 그래도..

커뮤니티/글또 2023.02.11

글또) 리허설 없었으면 망신당했을 글또콘 발표_Airflow Bad Practice 걷어내기

글또콘 발표 1주일 전 리허설을 했어요! 피드백 적용으로 바뀐 Before/ After에 대해서 기록한 글입니다 :) 이게 초안 PPT 인데, 지금보니 부끄러워요. 성의도 없어보이구요. 이게 피드백을 적용한 후의 PPT에요 예상 독자는 글또콘 발표를 생각하시는 분 발표 리허설& 피드백이 무엇인지 궁금하신 분 성윤님의 발표 컨설팅 맛보기가 궁금하신 분 입니다 :) "글또콘 후기"는 아래 글을 확인해주세요 https://mightytedkim.tistory.com/156 글또) 글또콘 발표 후기(리허설/피드백)_Airflow Bad Practices 목요일에 글또콘에서 발표를 했어요 최근에 관심있어서 스터디를 했던 Airflow에 대해서 발표를 했는데 준비 과정과 느낀 점에 대해서 기록하려고 해요 예상 독자..

커뮤니티/글또 2022.08.29

글또) 두근 두근 글또콘 발표 후기_Airflow Bad Practices

글또콘에서 Airflow Bad Practice 발표를 했어요! 오랜만의 발표라 그런지 떨리더라고요ㅎㅎ 발표 주제는 Airflow를 도입하고, 1년 전에 내가 하지 않았으면 하는 사례들을 공유했어요 예상 독자는 아래와 같아요 글또 신청을 고민하시는 분 다음 글또콘 발표를 고민하시는 분 입니다. 1. 마켓 컬리 도착 먼저 마켓컬리 18층 라운지에 미리 도착했고, 7시 20분에 글또콘이 시작했어요 버스타고 오다가 PPT에 오타를 발견해서, 성윤님 맥북에서 좀 수정하고. 데이터 엔지니어 자리에 앉아있었어요 곧 많은 분들이 오셨고, 뭐하시는 분이냐, 아 그 글쓰신 분이구나 하고 수다타임을 가졌구요 그러다가 금방 시간이 흘러서 성윤님이 사회를 보시고, 첫 발표를 바로 진행했어요 성윤님의 사회와 발표가 끝나고 저를..

커뮤니티/글또 2022.08.27

Slipp) '우아한 스터디' 진행 상황 발표_네트워킹 데이

2022-07-19(화) '우아한 스터디 네트워킹 데이' 에서 3개월간 'Airflow 2.0' 스터디를 어떻게 진행했는지 공유했어요 Airflow 2.0 스터디 참석률이 97.8% 였는데, 어떻게 운영했는지 짧게 썰을 풀었어요 예상 청중은 아래와 같았어요 우아한 스터디를 진행하고 있는 내/외부 개발자 Slipp 개발자 스터디 커뮤니티에 관심이 있는 분 Airflow 2.0에 대해서 궁금한 분 솔직히 SLIPP 스터디 홍보가 1순위였어요 (저도 이제 1년 밖에 안했지만요) 요약 발표 내용 목표 설정 종료 회고 실무 적용 결과물 마무리 설명 발표 내용 총 3팀이 발표했고, 저는 재성님의 SLIPP 소개 세션 마지막을 허락 받았어요 3개월 간의 스터디 동안 'Data Pipelines with Apache ..

커뮤니티/slipp 2022.07.29

Slipp) k8s 스터디 후기_21기

(후기) 코로나 기간이라 온라인으로만 진행된 건 조금 아쉬웠지만 스터디 내용이 실무에 많이 도움 되었어요 :) 요약 기간: 2021.08.10 ~ 2021.11.16 (7회) 주제: 쿠버네티스 시작하기 목표: 쿠버네티스의 기본 구조 학습 방식: '15단계로 배우는 도커와 쿠버네티스' 함께 읽기 https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=252444358 15단계로 배우는 도커와 쿠버네티스 컨테이너 기술에 처음 입문하는 독자도 체계적으로 실력을 쌓아갈 수 있도록 도커부터 시작하여 쿠버네티스의 전반적인 기능을 기초부터 단계별로 학습할 수 있도록 구성되어 있다. 독자는 이 www.aladin.co.kr 내용 Slipp) K8S 스터디1주차_개념 잡기 https:..

커뮤니티/slipp 2022.07.09

글또) 5기 후기(2020.12 ~ 2021.05)_elk,mongodb

2021. 5. 2. 16:50 네이버 포스팅 복사 https://blog.naver.com/deet1107/222332991772 글또 5기 후기 총 10회 2020년 12월부터 2021년 5월까지, 총 12번의 기간 중 10번의 글을 작성했어요 글또가 없었으면 절대 이만큼 글을 쓰지 않았을 거에요. 소중한 피드백들 덕분에 글의 가독성이 올라간 기분이에요 :) ​ 다음 회차에도 꼭 참여해야겠어요. ​ 얻은 것 - 다양한 기술 셋의 존재 : 무엇이 핫한지 알 수 있어서 좋았어요 - 가독성의 기술 : 3자의 시선으로 제 글을 이해가 되는지 볼 수 있어서 좋았어요 - 피드백의 중요성 : 글을 쓰는 것만큼, 피드백도 중요하다는 것을 느꼈어요 ​ 아쉬운 점 - 친목 기회가 적음 : 다음에는 근처에 있는 분이랑 ..

커뮤니티/글또 2022.03.26