[TIL]MLOps Engineering & AWS Lab 실습-2025.09.17

1. MLOps Engineering 개념

• MLOps(Machine Learning + Operations)는 ML 모델을 단순히 개발하는 것에서 끝나는 게 아니라, 배포 → 운영 → 모니터링 → 개선까지 전 과정을 자동화/최적화하는 엔지니어링 방식임.
• 핵심은 CI/CD 파이프라인과 유사하게 ML 모델의 학습, 테스트, 배포, 운영을 반복 가능한 프로세스로 만들고, 이를 통해 지속적인 모델 개선을 가능하게 하는 것임.
• 주요 구성요소:
  • 데이터 관리(DataOps) → 안정적인 데이터 수집·전처리
  • 모델 관리(ModelOps) → 버전 관리, 학습/재학습 자동화
  • 인프라 관리(InfraOps) → 클라우드 자원 최적화, 확장성
  • 워크플로우 자동화 → CI/CD + ML Pipeline 통합

 

2. 실습 1: AWS Service Catalog를 사용한 SageMaker Studio 환경 프로비저닝

• Service Catalog를 활용해 표준화된 리소스를 손쉽게 배포할 수 있었음.
• Amazon SageMaker Studio 환경을 프로비저닝(provisioning)하여 ML 개발자가 일관된 환경에서 작업할 수 있도록 설정.
• 이 과정을 통해 얻은 인사이트:
  • 개별 개발자가 직접 환경을 구성하는 대신, 관리자가 미리 정의한 템플릿으로 환경을 빠르고 안정적으로 구축 가능.
  • MLOps에서는 재현성 있는 환경 구축이 매우 중요하다는 점을 체감.

 

3. 실습 2: Step Functions를 사용한 워크플로 자동화

• AWS Step Functions를 활용해 ML 워크플로(훈련 → 테스트 → 배포)를 자동화.
• CodeCommit, CodePipeline, CodeBuild 같은 AWS CI/CD 서비스와 SageMaker 학습/추론 작업을 연결.
• 이 과정을 통해 얻은 인사이트:
  • 단순히 모델을 훈련하는 것에서 끝나는 게 아니라, 코드 관리 + 빌드 + 학습 + 배포가 모두 자동화된 체계가 필요.
  • MLOps는 “데이터와 모델도 소프트웨어처럼 다룬다”는 철학이 핵심임.

 

마무리

• ML 모델 개발만 신경 쓰던 기존 방식과 달리, MLOps에서는 운영·자동화·배포 파이프라인이 핵심이라는 점을 알게 되었음.
• 특히 실습에서 본 Service Catalog + SageMaker Studio 조합은 팀 단위로 동일한 개발 환경을 제공하는 데 유용했고, Step Functions + CI/CD 서비스 조합은 반복 가능한 ML 파이프라인을 구성하는 데 적합했음.
• 앞으로 ML 프로젝트를 진행할 때는 단순히 모델 성능뿐 아니라, 재현성(reproducibility), 자동화(automation), 유지보수성(maintainability)을 반드시 고려해야 한다는 교훈을 얻음.

 

계획 

1. AWS SageMaker에서 직접 작은 모델 학습 → 배포 → API 호출까지 이어지는 엔드투엔드 MLOps 흐름을 구축해보기.
2. GitHub Actions 같은 외부 CI/CD 도구와 연결해서 멀티-클라우드 MLOps 파이프라인 설계 시도.
3. MLflow, Kubeflow 같은 오픈소스 MLOps 도구도 병행 학습하여 AWS 기반 방식과 비교 정리하기.