[MLOps] MLOps 아키텍처 살펴보기

DevOps에서는 개발과 운영 간의 격차를 없애는 것을 목표로 하며 협업, 커뮤니케이션 및 지식 공유를 강조합니다. CI/CD(Continuous Deployment)를 통해 자동화를 하고, 신속하고 신뢰할 수 있는 릴리스가 가능합니다. 머신러닝 생명 주기를 자동화하기 위한 과정이 MLOps 라고 할 수 있습니다.

MLOps를 적용한 기업들의 사례를 소개합니다. 제가 처음 MLOps의 개념을 알기 시작했을 때에는 특정 패키지나 아키텍처를 사용해야 한다고 오해한 적이 있습니다. 여러 사례들을 찾아본 결과 각각의 기업에서는 자신들이 필요로 하는 기능과 아키텍처로 MLOps를 구성하고 있었습니다. MLOps 는 적용하고자 하는 산업의 특성이나 규모에 따라 다양한 형태로 적용되고 있음을 알 수 있습니다.

아래 기업들의 mlops 플랫폼 구축 사례를 소개하고 있습니다.

• LINE의 엔드 투 엔드 MLOps 플랫폼, MLU
  • LINE 의 MLOps 아키텍처를 살펴볼 수 있습니다.

    

   
• [if kakao 2022] ML 모델 학습 파이프라인 설계 (feat. MLOps 플랫폼)
  • 카카오페이에서는 Airflow AWS SageMaker Pipelines, AWS Step Functions 를 비교하고 Step Functions를 사용하여 적용한 사례를 소개하고 있습니다.
• Kurly만의 MLOps 구축하기 - 쿠브플로우 도입기
  • 컬리 데이터 플랫폼 팀에서는 쿠버네티스를 적극 활용하고 있어서 쿠브플로우를 채택하고, 쿠브플로우에서 커버하지 못하는 머신러닝 라이플 사이클 영역은 직접 개발하거나 다른 오픈소스를 활용하며 적용하려 한다고 하였습니다.

 

그렇다면 MLOps를 적용하기 위해서는 어떤 단계로 시작할 수 있을까요?

MLOps: 머신러닝의 지속적 배포 및 자동화 파이프라인

위 링크는 구글 클라우드 아키텍처 센터의 문서 링크 입니다.
MLOps 수준 0인 수동 프로세스부터 수준 2의 CI/CD 파이프라인 자동화까지 설명하고 있습니다. 각 단계에서 어느 정도의 수준을 필요로 하는지 나타내고, 추가할 구성 요소는 무엇이 있을지 이야기하고 있습니다. MLOPs 도입을 고려하고 있다면 아키텍처를 참고하기 좋은 자료입니다.

이번 게시글에서는 MLOps 아키텍처 참고 자료를 소개하였고, 다음 게시글에서는 MLOps의 원칙, 구성요소, 역할에 대해 알아보려 합니다.