[MLOps] MLOps의 원칙과 구성요소

앞선 게시글에서 ML을 자동화하고 운영하는데 활용하기 위해 MLOps 기술이 사용된다고 했습니다. 이번 게시글에서는 MLOps가 적용되기 위해서는 무엇이 필요한지 살펴보려 합니다.

Machine Learning Operations (MLOps):Overview, Definition, and Architecture (2022)
위의 연구에서 MLops의 원칙과 구성요소, 역할들에 대해서 상세하게 소개하고 있습니다. 문헌 검토와 MLOps Tool 조사, 전문가와 인터뷰를 통해서 MLOps를 개념화하였습니다. MLOps를 구성하고 있는 원칙과 기술, 역할들에 대해서 알아봅니다.

Principles

MLOps를 실현하기 위해서는 9가지 원칙이 필요합니다.

• P1. CI/CD 자동화 - 특정 단계의 성공여부에 대한 빠른 피드백을 제공하여 전체 생산성을 높입니다.
• P2. Workflow 조정 - DAG(Directed Acyclic Graphs) 에 따라 작업 순서를 조정함. 작업간 관계와 종속성을 고려하여 실행 순서 정의합니다.
• P3. 재현성 - ML 실험을 재현하였을 때 동일한 결과를 얻는 것입니다.
• P4. 버전 관리 - 데이터와 모델의 버전 관리를 할 수 있으며, 재현성과 추적이 가능합니다.
• P5. 협업 - 데이터와 모델, 코드에 대해 협업이 가능합니다.
• P6. 반복적인 ML 학습 및 평가 - 새로운 feature 데이터를 기반으로 ML 모델을 주기적으로 재학습 할 수 있다. 모니터링과 피드백, 자동화된 파이프라인으로 지속적인 학습이 가능하다. 연속적인 학습은 모델 품질 평가도 포함합니다.
• P7. ML 메타데이터 추적/로깅 - ML 워크플로우 작업에 대해 추적 과 기록이 가능합니다. 모델의 메타데이터, 반복적인 학습 내용과 같은 것들이 기록됩니다.
• P8. 지속적인 모니터링 -잠재적인 오류와 변화를 탐지하기 위해 모델, 코드, 배포 성능(ex 정확도)등을 주기적으로 평가합니다.
• P9. 피드백 루프 - 피처 엔지니어링 단계까지 피드백 루프, 모델 배포 성능 관찰 루프와 같이 통찰력을 키우기 위해 필요합니다.

MLOps의 원칙에 대해서 살펴보았습니다. 다음으로는 MLOps 기술 구성요소를 알아봅니다.

Technical Components

MLOps를 이루는 기술 구성 요소는 아래와 같습니다. 각 항목 옆에 있는 P_ 는 앞서 살펴본 어떤 원칙에 해당하는 기술 구성요소인지 나타냅니다.

• C1. CI/CD 구성요소 (P1, P6, P9) - DevOps에서도 다루는 continuous integration, continuous delivery, and continuous deployment 가 MLOps에서도 필요합니다. 빌드부터 테스트, 배포까지 수행합니다.
• C2. 소스코드 저장소 (P4, P5) - 소스코드를 저장하고 버전관리가 가능합니다. Bitbucket, GitLab, Github, Gitea 등이 있습니다.
• C3. Workflow Orchestration Component (P2, P3, P6) - DAG(Directed Asyclic Graph)를 통해서 ML 워크플로우의 작업 오케스트레이션을 제공합니다. Airflow, Kubeflow, Luigi, SageMaker 등이 있습니다.
• C4. Feature Store System(P3, P4) - 데이터 저장소에서 직접 데이터를 가져올 수도 있지만, 낮은 예측 지연 시간을 보장하기 위한 온라인 피처 스토어와 실험을 위한 오프라인 피처 스토어를 구성할 수 있습니다. AWS Feature Store, Tecton.ai, Hopswork.ai 등이 있습니다.
• C5. 모델 학습 인프라(P6) - 모델 학습 인프라에서는 CPU, RAM, GPU와 같은 계산 리소스를 제공하고, 일반적으로 분산형 인프라가 권장됩니다. Kubernetes, Red Hat OpenShift 등이 있습니다.
• C6. 모델 레지스트리(P3, P4) - 학습된 ML 모델과 메타데이터를 저장합니다. ML model artifact와 메타데이터를 저장합니다. MLflow, AWS SageMaker 모델 레지스트리, Azure ML 모델 레지스트리, Neptune.ai 등이 있습니다. 저장소 예시로는 Azure Storage, Google Cloud Storage, S3 등이 있습니다.
• C7. ML 메타데이터 저장소(P4, P7) - ML 메타데이터는 예를들어서 ML 워크플로우 파이프라인 작업에 대한 다양한 종류의 메타데이터 추적이 가능하게 합니다. 모델별 메타 데이터(학습 시간, 기간 등), 학습 작업 메타데이터, 모델별 메타데이터(결과, 성능, 코드 등)을 구성할 수 있습니다. Kubeflow Pipeline, SageMaker Pipeline, Azure ML, MLflow 등이 있습니다.
• C8. 모델 배포 구성요소(P1) - 실시간 예측을, 대량 입력 데이터를 사용한 예측 배츠 등이 가능합니다. REST API로 제공이 가능하고 Kubernetes, Docker를 이용하여 ML 모델을 컨테이너화 하는 것이나 Flask와 같은 프레임워크를 사용하는 것이 있습니다. Kubernetes의 Kubeflow에도 배포 기능이 포함되어 있고, 배치 예측을 위해서 Spark를 사용할 수 있습니다. 클라우드 서비스의 예로 Microsoft Azure ML REST API, AWS SageMaker Endpoints, IBM Watson Studio, Google Vertex AI prediction service가 있습니다.
• C9. 모니터링 구성요소(P8, P9) - 배포 성능과 모델 infrastructure, CI/CD 등에 대한 모니터링을 필요로 합니다. Prometheus with Grafana, ELK stack(Elasticsearch, Logstash, Kibana), TensorBoard 등이 있습니다. 모니터링 기능이 내장된 예로는 Kubeflow, MLFlow, AWS SageMaker 모니터링 등이 있습니다.

앞서 MLOps의 원리와 구성요소를 살펴보았습니다. 다음으로는 MLOps를 위해 어떠한 역할들이 필요한지에 대해 알아보겠습니다. 역할 관계자는 영어 원 표현을 그대로 사용하였습니다.

Roles

• R1. Business Stakeholder (비슷한 역할: Product Owner, Project Manager) - ML로 달성하고자 하는 비즈니스 목표를 정의하고, ML 제품으로 발생하는 투자수익률 등 비즈니스 커뮤니케이션을 담당합니다.
• R2. Solution Architect (비슷한 역할: IT Architect) - 철저한 평가를 거쳐 아키텍처를 설계하고 사용할 기술을 정의합니다.
• R3. Data Scientist (비슷한 역할: ML Specialist, ML Developer) - 비즈니스 문제를 ML 문제로 변환하여 가장 성능이 좋은 알고리즘과 하이퍼 파라미터 조정과 같이 모델 엔지니어링을 담당합니다.
• R4. Data Engineer (비슷한 역할: DataOps Engineer) - 데이터 및 피쳐 엔지니어링 파이프라인을 구축하고 관리합니다. feature store system의 데이터베이스에 적절하게 데이터를 수집합니다.
• R5. Software Engineer - 소프트웨어 설계 패턴, 개발 지침 및 모범 사례를 적용하여 제품을 설계합니다.
• R6. DevOps Engineer - 개발과 운영 사이의 간극을 메우고 적절한 CI/CD자동화, ML 워크플로우 조정, 모델 배포, 모니터링을 담당합니다.
• R7. ML Engineer/MLOps Engineer - R3, R4, R5, R6 의 넓은 영역에서 비슷합니다. ML 인프라를 구축하고 운영하며, 자동화된 ML 워크플로우 파이프라인과 모델의 프로덕션 배치를 관리하고, 모델과 ML인프라를 모니터링합니다.

이번 게시글에서는 MLOps의 원칙과 기술 요소, 역할에 대해서 살펴보았습니다. 필요한 기술 구성요소도 많고 역할들도 다양한데요. 다음 게시글에서는 각 요소들이 어떻게 연결되어 있는지 아키텍처를 통해 이해해봅니다. ML 생명 주기의 각 단계가 어떻게 연결되어 있는지 알아보겠습니다.

---

reference
Dominik Kreuzberger and Niklas Kühl and Sebastian Hirschl (2022) Machine Learning Operations (MLOps): Overview, Definition, and Architecture