MLOPS

2021.11.06

1. MLOPS = ML + DEVOPS

https://blogs.nvidia.com/blog/2020/09/03/what-is-mlops/

---

데이터 , 모델, 서빙 상용 소프트웨어

2. 데이터

1. 데이터 수집 파이프라인 
    - Sqoop
    - Flume
    - Kafka
    - Flink
    - Spark Streaming
    - Airflow

2. 데이터 저장
    - MySQL
    - Hadoop
    - Amazon S3
    - MinIO

3. 데이터 관리
    - TFDV 
    - DVC 
    - Feast
    - Amundsen

3. 모델

1. 모델 개발 
    - Jupyter Hub (격리환경 모델 개발)
    - Docker (격리환경 모델 개발)
    - Kuberflow (격리환경 모델 개발)
    - Optuna (Hyperparameter optimization 병렬환경)
    - Ray (Hyperparameter optimization 병렬환경)
    - katib (Hyperparameter optimization 병렬환경) 

2. 모델 버전 관리 
    - Git 
    - MLFlow 
    - Github Action (CI/CD DevOPS 환경)
    - Jenkins (CI/CD DevOPS 환경)

3. 모델 학습 스케줄링 관리
    - Grafana
    - Kubernetes

4. 서빙

- 데이터를 받고 ML Predict 함수를 호출하고 결과를 받는 것을 서버에서 API 형태로 제공하는 서비스
- 모델 .predict 를 api에서 돌려볼 수 있게 하여 접근성이 높도록 한 것

1. 모델 패키징
    - Docker (REST API)
    - Flask (REST API)
    - FastAPI (REST API)
    - BentoML
    - Kuberflow
    - TFServing
    - seldon-core

2. 서빙 모니터링
    - Prometheus
    - Grafana
    - Thanos

3. 파이프라인 매니징
    - Kuberflow
    - argo workflows
    - Airflow

5. all in one source vendor(유료)

 - 아마존, 구글, 마이크로소프트
- Aws SageMaker
- GCP Vertex AI
- Azure Machine Learning
- Amazon SageMaker
- vertex.ai
- Azure Machine learning

6. 배경지식

 - ML이론
   - SW 구현 능력
- 클라우드 지식
- 협업 능력

7.

 - 도커와 쿠버네티스
- MLops 오픈소스
- Aws SageMaker