글또장이신 카일님의 카일 스쿨 유투브 보고 메모
최근하고 있는 고민들을 너무 잘 정리해주셔서 재미있게 앉은 자리에서 3개를 다 봤어요,
경계가 명확하지 않은 직군들에 대한 카일님의 생각을 알 수 있었고,
그림과 함께라서 이해하기 더 좋았음
1. 직군의 구체화
- 데이터 조직이 생기기 시작함
- 데이터 리터러시 중요성 대두
2. 진입 장벽 낮아짐
- cloud -> hadoop, spark의 러닝커브를 낮춤
3. 직군
- 제품(앱,웹) -> product analyst
- 예측 모델 -> data scientist
- 데이터 분석가, 데이터 엔지니어
----
[카일데이] 데이터 업계 7년 차가 알려주는 데이터 분석가의 핵심 역량
https://www.youtube.com/watch?v=Z0PEIqKOhDE
데이터 추출보다, 문제 정의가 더 중요하다는 것을 강조
데이터 분석가의 핵심 역량
1. 문제 정의 역량
- 현상 파악 -> 문제 정의
2. 비즈니스 모델 파악 역량
- 책 : `한장으로 끝내는 비즈니스 모델 100`, `데이터 문해력`
- input, output
* 데이터 처리 역량은 굳이 따지면 후순위
먼저, How < Why, action 도출
* 일상에서 비즈니스 모델을 고민
데이터 엔지니어가 하는 일은? 데이터 엔지니어 공부 방법! (저만의 공부 방법 포함!)
https://www.youtube.com/watch?v=1Viu7Ce632s
데이터 엔지니어 직군으로 커리어 전환 노력을 하는 나에게 도움이 많이 됨
일단 빅데이터 지탱하는 기술 책부터 읽어야겠다. 주변에서 너무 많은 추천을 받았다.
처리 방식
1. ETL 파이프라인
2. Batch, Realtime
업무
1. 인프라 구축, dw/dm
2. 시각화: bi(tableau, redash 등)
3. data product: AB TEST, 로그 시스템, 머신러닝 서비스 등
역량
1. 엔지니어 (대용량, db, 네트워크 등)
2. 개발(python, java, scala, shell, docker 등)
3. 클라우드, docker, kubernetes
공부 방법
1. spark, kafka, airflow (선택의 문제)
2. 책)`빅데이터를 지탱하는 기술`
3. 왜 해당 라이러브리를 사용했는지가 중요
관련 링크
1. Data Engineer Roadmap https://github.com/datastacktv/data-engineer-roadmap
2. Awesome Data Engineering https://github.com/igorbarinov/awesome-data-engineering
MLOps란? MLOps 로드맵 및 MLOps 취업에 대한 생각 | MLOps 강의 추천 있음
https://www.youtube.com/watch?v=xZKtofBe18I
MLOps 프로젝트 이제 시작 중인데, 도움이 됨
나도 백엔드 개발하다가 데이터 엔지니어쪽으로 넘어가려하고 있는데, 잘 가고 있구나라는 생각을 함
MLOps
- 모델의 서비스 이용, 버전 관리
- 인프라 관리
DevOps와 연관이 있음
- Machine Learning하면서 생기는 운영 issue
- CI/CD/CT
DevOps에서 MLOps보다는, 엔지니어 쪽에서 MLOps하는 추세
라이브러리는 춘추전국 시대(+ 회사에서 툴보다 기반 기술 hadoop, spark를 공부하는 것이 필요하다고 말함)
라이브러리 조합
고객의 정의
- 내가 모델 개발 -> 라이브러리 조합
- 다른 사람이 모델 개발 -> 플랫폼
기타
- 모델을 먼저 개발하고 고민하기
- 신입은 거의 뽑지 않음
참고
- full stack deeplearning
'기타' 카테고리의 다른 글
| 스타트업에서 POC를 위해 논문 참고하는 법_AR Glass,원격협업 (1) | 2024.03.17 |
|---|---|
| 기타)코테 준비 시작 (0) | 2022.03.05 |