기록의 공간 :: mightytedkim

Model의 동적 배포를 위해서, FaaS를 도입한 이야기를 정리하는 중입니다.nuclio 기본 개념을 더 설명해야할 것 같아서 이번 글은 기초를 설명합니다 글의 구조는 아래와 같습니다.Nuclio 설치 방법Nuclio 실행 방법 - python hello worldNuclio 실행 방법 - vision - facebook (Segmenation Anyting Model)글의 타깃 독자는 아래와 같습니다.Nuclio 설치가 궁금하신 분Nuclio hello world가  궁금하신 분지난 포스팅에서는 아래 3가지를 적었고Vision MLOps 프로젝트 투입: https://mightytedkim.tistory.com/205라벨링 툴로 CVAT을 선택한 이유: https://mightytedkim.tisto..

mlflow를 설치하고 hello world를 실행해봤어요 모델러 입장에서는 git처럼 이력 관리를 할 수 있고, 엔지니어 입장에서는 api를 특정 시점으로 변경할 수 있어서 좋은 것 같아요 제가 생각한 장점은 일단 쉽고 이뻐요 - UI 가 이쁘다. - 모델간의 비교가 가능하다. - 모델 정보를 s3에 저장할 수 있다. (pickle, source, parameter, etc) 요약 1. k8s에 mlflow 설치 2. juptyterhub로 테스트 3. airflow로 테스트 4. 결론 설명 1. k8s에 mlflow 설치 mlflow-pgsql.yaml mlflow-pvc.yaml mlflow.yaml https://mightytedkim.tistory.com/55 2. juptyterhub로 테스트..

이번 챕터는 평소 궁금하던 sensor에 대해서 공부할 수 있어서 재미있었어요. + TriggerDagRunOperator의 경우 복잡해서 사용안하려고 했는데, s3 이동 같은 작업은 클래스처럼 정의해서 사용할 수 있다는 이야기를 들어서 유레카였어요 요약 센서 : 특정 조건을 센서에 만족하도록 대기하기 트리거 : 서로 다른 DAG의 태스크간 의존성 설정하기 CLI/API : REST API 를 통해 워크 플로 실행하기 마무리 설명 1. 센서 : 특정 조건을 센서에 만족하도록 대기하기 로그를 당겨오거나, 작업이 언제 끝날지 기다리거나, hive 테이블에 파티션이 있는지 확인하는 작업에 활용 할 수 있어요 Sensor 특정 조건이 참인지 여부를 지속적으로 확인(polling)하는 특수 유형 오퍼레이터 필요한..

airflow Api 설정 켜기_helm as is [api] auth_backend = airflow.api.auth.backend.deny_all to be [api] auth_backend = airflow.api.auth.backend.basic_auth (helm)에 수정 config: api: #auth_backend: airflow.api.auth.backend.deny_all auth_backend: airflow.api.auth.backend.basic_auth 테스트 curl --user ":" -X 'POST' \ 'http://:/api/v1/dags/sample_hello_world_dag/dagRuns' \ -H 'accept: application/json' \ -H 'Cont..