STUDY/MLOPS
MLOPS
BOTTLE6
2021. 11. 6. 11:31
2021.11.06
1. MLOPS = ML + DEVOPS
https://blogs.nvidia.com/blog/2020/09/03/what-is-mlops/
데이터 , 모델, 서빙 상용 소프트웨어
2. 데이터
1. 데이터 수집 파이프라인
- Sqoop
- Flume
- Kafka
- Flink
- Spark Streaming
- Airflow
2. 데이터 저장
- MySQL
- Hadoop
- Amazon S3
- MinIO
3. 데이터 관리
- TFDV
- DVC
- Feast
- Amundsen
3. 모델
1. 모델 개발
- Jupyter Hub (격리환경 모델 개발)
- Docker (격리환경 모델 개발)
- Kuberflow (격리환경 모델 개발)
- Optuna (Hyperparameter optimization 병렬환경)
- Ray (Hyperparameter optimization 병렬환경)
- katib (Hyperparameter optimization 병렬환경)
2. 모델 버전 관리
- Git
- MLFlow
- Github Action (CI/CD DevOPS 환경)
- Jenkins (CI/CD DevOPS 환경)
3. 모델 학습 스케줄링 관리
- Grafana
- Kubernetes
4. 서빙
- 데이터를 받고 ML Predict 함수를 호출하고 결과를 받는 것을 서버에서 API 형태로 제공하는 서비스
- 모델 .predict 를 api에서 돌려볼 수 있게 하여 접근성이 높도록 한 것
1. 모델 패키징
- Docker (REST API)
- Flask (REST API)
- FastAPI (REST API)
- BentoML
- Kuberflow
- TFServing
- seldon-core
2. 서빙 모니터링
- Prometheus
- Grafana
- Thanos
3. 파이프라인 매니징
- Kuberflow
- argo workflows
- Airflow
5. all in one source vendor(유료)
- 아마존, 구글, 마이크로소프트
- Aws SageMaker
- GCP Vertex AI
- Azure Machine Learning
- Amazon SageMaker
- vertex.ai
- Azure Machine learning
6. 배경지식
- ML이론
- SW 구현 능력
- 클라우드 지식
- 협업 능력
7.
- 도커와 쿠버네티스
- MLops 오픈소스
- Aws SageMaker