'데이터 엔지니어'로 성장하기

정리하는 걸 좋아하고, 남이 읽으면 더 좋아함

글또 9

K8S) pod 내부에서 외부 DNS 못 찾을 때 우회법_hostAlias,coredns

쿠버네스티는 설치할 때마다 새로워요. hw가 문제일 때도 있고, kernel 버전이 안 맞을 때도 있죠 하지만 대부분의 절망 포인트는 네트워크 더라고요... pod안에서 외부 dns 접근 못하던 문제를 어떻게 우회해서 해결했는지 정리했습니다 예상 독자는 다음과 같아요 온프렘 환경에서 고군분투 쿠버를 설치하시는 분들 네트워크 잘 모르는데 쿠버 설치하시는 분들 저를 불쌍히 여기실 수 있는 분들 문제: pod 안에서 dns 를 찾지 못함 이번에는 새로운 네트워크 망에 k8s cluster를 설치하는 작업을 했어요 그런데 이상하게 서버 몇대가, 회사 DNS에 접근을 잘 못하더라고요. 12대 중 2대가 접근이 되지 않아서 /etc/hosts에 특정 host를 명시해줬어요 불안한 마음에 k8s 설치하고 busybo..

기타/K8S 2023.02.26

글또) 리허설 없었으면 망신당했을 글또콘 발표_Airflow Bad Practice 걷어내기

글또콘 발표 1주일 전 리허설을 했어요! 피드백 적용으로 바뀐 Before/ After에 대해서 기록한 글입니다 :) 이게 초안 PPT 인데, 지금보니 부끄러워요. 성의도 없어보이구요. 이게 피드백을 적용한 후의 PPT에요 예상 독자는 글또콘 발표를 생각하시는 분 발표 리허설& 피드백이 무엇인지 궁금하신 분 성윤님의 발표 컨설팅 맛보기가 궁금하신 분 입니다 :) "글또콘 후기"는 아래 글을 확인해주세요 https://mightytedkim.tistory.com/156 글또) 글또콘 발표 후기(리허설/피드백)_Airflow Bad Practices 목요일에 글또콘에서 발표를 했어요 최근에 관심있어서 스터디를 했던 Airflow에 대해서 발표를 했는데 준비 과정과 느낀 점에 대해서 기록하려고 해요 예상 독자..

커뮤니티/글또 2022.08.29

글또) 두근 두근 글또콘 발표 후기_Airflow Bad Practices

글또콘에서 Airflow Bad Practice 발표를 했어요! 오랜만의 발표라 그런지 떨리더라고요ㅎㅎ 발표 주제는 Airflow를 도입하고, 1년 전에 내가 하지 않았으면 하는 사례들을 공유했어요 예상 독자는 아래와 같아요 글또 신청을 고민하시는 분 다음 글또콘 발표를 고민하시는 분 입니다. 1. 마켓 컬리 도착 먼저 마켓컬리 18층 라운지에 미리 도착했고, 7시 20분에 글또콘이 시작했어요 버스타고 오다가 PPT에 오타를 발견해서, 성윤님 맥북에서 좀 수정하고. 데이터 엔지니어 자리에 앉아있었어요 곧 많은 분들이 오셨고, 뭐하시는 분이냐, 아 그 글쓰신 분이구나 하고 수다타임을 가졌구요 그러다가 금방 시간이 흘러서 성윤님이 사회를 보시고, 첫 발표를 바로 진행했어요 성윤님의 사회와 발표가 끝나고 저를..

커뮤니티/글또 2022.08.27

글또) 7기 다짐글(2022.05 ~ 2022.11)_airflow

벌써 3번째 다짐글이네요 이 포스팅의 독자는 아래와 같아요 글또 가입을 고민하시는 분 글또 7기를 같은 그룹 분들 중 제가 궁금하신 분 글또 바이럴에 도움이 되기를 바라면서 아래 3가지 내용을 준비했어요 글또를 통해 얻게된 좋은 습관 5,6기에 작성했던 글 7기에 작성하게될 글 1) 글또를 통해 얻게된 좋은 습관 글또 덕분에 여러 습관을 얻게 되었어요 주기적으로 글쓰는 습관 피드백 받을 걸 생각하고 글쓰는 습관 어떻게 효과적으로 피드백을 줄지 생각하는 습관 아직도 메모처럼 블로그에 글을 작성하고 있지만, 매 기수마다 발전하는 저를 볼 수 있어요. 그리고 어떤 글을 썼는지 목차를 보며 그 동안 어떤 기술에 제가 관심이 있엇는지 볼 수 있어 좋아요 2) 5,6기에 작성했던 글 21년에는 elk, k8s를 공..

Data/Airflow 2022.07.10

글또) 5기 후기(2020.12 ~ 2021.05)_elk,mongodb

2021. 5. 2. 16:50 네이버 포스팅 복사 https://blog.naver.com/deet1107/222332991772 글또 5기 후기 총 10회 2020년 12월부터 2021년 5월까지, 총 12번의 기간 중 10번의 글을 작성했어요 글또가 없었으면 절대 이만큼 글을 쓰지 않았을 거에요. 소중한 피드백들 덕분에 글의 가독성이 올라간 기분이에요 :) ​ 다음 회차에도 꼭 참여해야겠어요. ​ 얻은 것 - 다양한 기술 셋의 존재 : 무엇이 핫한지 알 수 있어서 좋았어요 - 가독성의 기술 : 3자의 시선으로 제 글을 이해가 되는지 볼 수 있어서 좋았어요 - 피드백의 중요성 : 글을 쓰는 것만큼, 피드백도 중요하다는 것을 느꼈어요 ​ 아쉬운 점 - 친목 기회가 적음 : 다음에는 근처에 있는 분이랑 ..

커뮤니티/글또 2022.03.26

youtube)카일 스쿨 데이터 엔지니어 직군 소개

글또장이신 카일님의 카일 스쿨 유투브 보고 메모 최근하고 있는 고민들을 너무 잘 정리해주셔서 재미있게 앉은 자리에서 3개를 다 봤어요, [카일데이] 요즘 데이터 분석가의 현실, 데이터 분석 직군의 세분화 트렌드 https://www.youtube.com/watch?v=mzOWMax9Sxc 경계가 명확하지 않은 직군들에 대한 카일님의 생각을 알 수 있었고, 그림과 함께라서 이해하기 더 좋았음 1. 직군의 구체화 - 데이터 조직이 생기기 시작함 - 데이터 리터러시 중요성 대두 2. 진입 장벽 낮아짐 - cloud -> hadoop, spark의 러닝커브를 낮춤 3. 직군 - 제품(앱,웹) -> product analyst - 예측 모델 -> data scientist - 데이터 분석가, 데이터 엔지니어 --..

기타 2022.02.21

글또) 6기 후기(2021.11 ~ 2022.02)_k8s

글또 5,6기를 하니까 2021년이 지나갔어요. 올해 회고글을 글또를 중심으로 풀어볼까해요. 2021년 회고 올 한해는 참 재미있었어요. 하고 싶었던 것 마음껏 했거든요. 전반기에는 회사 제품에 검색엔진을 적용했고, 후반기에는 쿠버네티스를 서버 렉 설치부터 경험해봤어요. 글또 5기를 시작했던 2020년 11월에는 Elasticsearch를 처음 접했어요. 마침 제가 담당하던 제품도 데이터 포털 이어서, 검색엔진을 적용하고 싶었고 생각을 정리하는 연습을 하기 위해 글또5기를 시작했어요. 제품에 검색엔진을 넣으려고 사내 스터디 만들면서 여기저기 기웃거렸는데 8월부터는 아예 오픈소스 팀에 들어갔어요. K8S 밑바닥 부터 내부망에 세팅하는 일을 했어요 그래서 이 포스팅의 제목도 오픈소스로 시작해서, 오픈소스로 ..

커뮤니티/글또 2021.12.28

Slipp) K8S 스터디1주차_개념 잡기 :: mightytedkim

회사에서 쿠버네티스를 사용하게 되서, 개념을 공부하고 있어요 책은 15단계로 배우는 도커와 쿠버네티스 (깔끔한 설명과 자연스러운 번역이 장점인 것같아요) slipp스터디에서 9분과 함께 완독을 목표로 11월까지 달릴 예정입니다. 1장 도커와 쿠버네티스의 개요 책에서는 훨씬 자세하고 친절한 설명이 나와서, 나중에 복습할 용도로 요약했습니다. 쿠버네티스란 기본 개념과 장점에 대해서 알 수 있었어요. 곧 쿠버네티스도 백엔드 개발자가 모르면 안되는 기술이 될 것 같아요 정의 컨테이너화된 애플리케이션을 효율적으로 배포하고 운영하기 위해 설계된 오픈 소스 플랫폼 요약 등장 배경 새로운 기능과 서비스를 빠르고 안정적으로 제공 필요 불변의 실행 환경(immutable infrastructure)이 필요 특징 높은 유연..

기타/K8S 2021.08.15

글또) 6기 다짐글(2021.11 ~ 2022.02)_k8s

글또(글쓰는 또라이가 세상을 바꾼다.) 5기에 이어 6기에서도 글을 쓸 계획입니다 글또는 개발자 글쓰기 모임이고, 데이터 분석가/엔지니어/ 개발자 분들이 모여 글을 쓰고 있어요ㅎ 글또 6기 다짐글을 쓰고, 글도 5기에서 느낀점에 대해서 써보려고 해요 글또 6기 다짐글 목표 k8s 관련 스터디 내용 작성하기 글쓰기 습관 마감 1주일 전에 글 작성하기 피드백을 반영하고, 피드백을 주신 분에게 알려주기 블로그 이사 네이버(https://blog.naver.com/deet1107) -> 티스트리 GA 입히고, 유입률을 높일 수 있는 방법 고민하기 이번에는 미리 글을 작성해서 퇴고하는 습관을 만들고 싶어요 :) 지난 기수에는 글쓰는 습관이 목표였거든요. 아래는 제가 생각한 얻은 점과 개선할 점이에요 글또 5기 느..

커뮤니티/글또 2021.07.25