Kubernetes에서 Apache Airflow 배포 트러블슈팅
IntroductionAirflow 는 airbnb 에서 워크플로우를 관리하고 스케줄링하기 위해 개발한 파이썬 기반 오픈소스입니다. 본격적인 MLOps 환경을 구성하기 위해 새로 구축된 GPU 클러스터에 helm 차트를 이용해서 airflow 를 배포했습니다. Airflow를 선정한 이유는 Dynamic, Extensible, Flexible이라는 장점 때문입니다. 운영 환경에서 모델 학습을 함께 실행해야 한다는 요구사항을 고려할 때 확장성(scalability)이 매우 중요했으며, GPU 리소스 관리도 필요했습니다. 개발 속도 측면에서 강점을 가진 Prefect도 대안으로 검토했으나, 최종적으로는 Airflow가 팀의 요구사항에 가장 적합하다고 판단하여 선정했습니다. OS: Rocky LinuxKub..
2025.09.14