'데이터 엔지니어'로 성장하기

정리하는 걸 좋아하고, 남이 읽으면 더 좋아함

AI 13

Bentoml) Yatai 1.0 에서 무엇이 바뀌었을까

2022년 9월에 공개된 1.0.0 버전을 설치해봤어요 지금 대격변기여서, 공식 문서도 약간 부실한거같고, 인터넷에 질문 99%가 예전 버전들이라 힘들었어요ㅋㅋ 요약 예상 독자는 아래와 같아요 bentoml로 모델 배포를 어찌하는지 궁금하신 분 1.0.x 버전의 yatai, yatai-deployment 설치 예정이신분 0.4.6 버전과의 차이점이 궁금하신 분 구성은 아래와 같아요. `yatai, yatai-deployment 란? yatai yatai-deployment 1.0에서 변한 것 테스트 모델 push 모델 배포 설치 yatai:1.0.0-a0 yatai-deployment:1.0.0-a2 기타 설명 1. yatai, yatai-deployment란? bentoml도 편리하지만, yatai를 ..

AI/MLOps 2022.10.10

Mlflow) python, airflow로 테스트해보기

mlflow를 설치하고 hello world를 실행해봤어요모델러 입장에서는 git처럼 이력 관리를 할 수 있고, 엔지니어 입장에서는 api를 특정 시점으로  변경할 수 있어서 좋은 것 같아요제가 생각한 장점은 일단 쉽고 이뻐요- UI 가 이쁘다.- 모델간의 비교가 가능하다.- 모델 정보를 s3에 저장할 수 있다. (pickle, source, parameter, etc)요약1. k8s에 mlflow 설치2. juptyterhub로 테스트3. airflow로 테스트4. 결론설명1. k8s에 mlflow 설치mlflow-pgsql.yamlmlflow-pvc.yamlmlflow.yamlhttps://mightytedkim.tistory.com/55 2. juptyterhub로 테스트아래는 requirement..

AI/MLOps 2022.06.26

Kubernetes)Mlflow설치

mlflow는 모델을 저장하고 비교하는 플랫폼 서빙까지는 좀 무리가 있는것 같아요 airflow에서 mlflow로 던지는 방법으로 사용하려고 해요 결과 # $k get all -n mlflow NAME READY STATUS RESTARTS AGE pod/mlflow-deployment-75686677bf-k4bvx 1/1 Running 4 (51d ago) 59d pod/mlflow-postgres-0 1/1 Running 1 (51d ago) 59d NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE service/mlflow-postgres-service NodePort 10.98.250.201 5432:30112/TCP 59d service/mlflow-service ..

AI/MLOps 2022.02.21