기록의 공간 :: mightytedkim

라벨링 툴로 왜 CVAT을 선택했는지 정리했습니다 :) 글의 구조는 아래와 같습니다.CVAT이 뭐에요?선택한 이유는 뭐에요?아쉬운 점은 뭐에요?. 글의 타깃 독자는 아래와 같습니다.Labeling 툴 도입을 고민하시는 분CVAT을 사용하시는 분CVAT 도입을 고민하시는 분. 지난 포스팅에서는 Vision MLOps 프로젝트에 투입된 배경에 대해서 정리했어요 https://mightytedkim.tistory.com/205 데이터 잡부의 도전기 #Vision#CVAT#Nuclio23년 하반기는 힘들었지만 재미있었어요. 새로운 분야를 접했거든요 '데이터 잡부'의 도전에 대해 정리하려 합니다 :) 글의 구조는 아래와 같습니다. 원래 하던 업무 (pipeline) 제안받은 업무 (MLops)mightytedki..

요약 ubuntu 22.04.1 을 설치하고 oracle linux 7.9에서 접근하려고 했는데 인증 오류("no matching MAC found" )가 났고 [-m mac_spec] 설정으로 해결했어요 $ ssh -m hmac-sha2-512 -A spc@10.***.70.41 문제 there's some incompatibility between the ssh client shipped with Windows and the server on Ubuntu 22.04. #사례1 # source, linux Oracle Linux Server release 7.6 # source, ssh OpenSSH_7.4p1, OpenSSL 1.0.2k-fips 26 Jan 2017 $ telnet 10.***.70..

오류 해결 dial tcp: lookup docker on 19.32.192.11:53: no such host 상황 dind 안에서, docker login 안됨 $ docker login -u deet1107 -p ****** WARNING! Using --password via the CLI is insecure. Use --password-stdin. error during connect: Post http://docker:2375/v1.39/auth: dial tcp: lookup docker on **.*.***.**:53: no such host 조치 HTTP 프록시 설정 Variables: HTTPS_PROXY: http://***.219.61.252:8080 HTTP_PROXY: http..

고정 ip, dns, proxy 설정까지 해서 ping, telnet, ssh가 되는데 curl이 안되더라고요..curlrc에 noproxy를 추가해서 적용했습니다 예상 독자는 아래와 같아요1. 네트워크 초보자2. vm 세팅하시는 분들 상황상황은 아래와 같았어요 > 정상$ curl  '' localhost:30071$ curl -x '' 172.17.172.36:30071$ export http_proxy='' & curl 172.17.172.36:30071 > 비정상# 계속 http_proxy로 감$ curl -x '' 172.17.172.36:30071Rebuilt URL to: 172.17.172.36:30071/* Trying 192.219.61.252...* TCP_NODELAY set* Con..

스터디를 통해 배운 내용을 실무에 정리한 글이에요 책의 8장 내용 custom operator를 참고했습니다. airflow를 운영하면서 가장 불안했던 부분은 '관리가 힘든 것' 이었어요 Python을 사용해서 개발자/분석가 접근성이 높은 것은 좋은데, 자유도가 너무 높아서 산으로 가더라고요. 예상 독자는 아래와 같아요 airflow 도입을 고민하는 분 dag 관리가 산으로 가는 분 확산을 해야 하는 분 요약 문제: PythonOperator는 관리가 되지 않고, 높은 자유도가 오히려 독이 되고 있음, 분석: 재사용 가능한 모듈을 적용해야하고, 모듈은 커밋 전 코드 리뷰가 필요 적용: Custom Operator를 적용함 결과: 문제 발생 부분이 일원화되고, 반복 코드가 감소함 설명 1. 문제 Pytho..

요약 상황 원인 조치 설명 상황 sparkK8sOperator 사용할때 sensor가 poking하다가 갑자기 죽음 결과를 보면 정상 실행되는데, sensor가 로그를 가져오지 못해서 에러로 표시됨 [2022-06-01 20:01:18,396] {spark_kubernetes.py:121} INFO - Spark application is still in state: RUNNING [2022-06-01 20:02:18,402] {spark_kubernetes.py:101} INFO - Poking: spark-test-20220531t193000-1 [2022-06-01 20:02:18,424] {spark_kubernetes.py:121} INFO - Spark application is still i..