정리하고 기록하자 정리하고 기록하자

단계별 ML 모델 배포 여정머신러닝 모델을 실제 서비스로 만들려면, 단순히 학습만으로 끝나지 않고 다양한 배포 과정을 거쳐야 합니다. 이 글에서는 scikit-learn으로 만든 모델을 FastAPI로 감싸고, Docker로 컨테이너화해 AWS ECS(Fargate)를 통해 클라우드에 올리는 일련의 과정을 소개합니다.모델 학습 및 저장먼저 머신러닝 모델을 훈련시킨 후 파일로 저장합니다. 여기서는 유명한 아이리스 데이터셋을 사용해 랜덤 포레스트 분류기를 만들었고, 결과를 iris_model.pkl로 저장했습니다.# train_model.pyfrom sklearn.datasets import load_irisfrom sklearn.ensemble import RandomForestClassifierimpor..

ECScape 취약점이란?ECScape는 Amazon ECS(Elastic Container Service)에서 발견된 새로운 보안 취약점으로, 공격자가 한 컨테이너에서 다른 컨테이너의 AWS 자격 증명(IAM)을 훔칠 수 있는 문제입니다. 특히 여러 컨테이너가 같은 EC2 인스턴스에서 함께 동작할 때 심각한 영향을 미칩니다.취약점의 작동 방식ECScape는 ECS 내부의 알려지지 않은 프로토콜을 악용해서 실행 중인 컨테이너끼리의 경계를 뚫고, 낮은 권한의 컨테이너가 높은 권한의 IAM 자격 증명을 탈취할 수 있게 만듭니다. 이를 통해 공격자는 권한을 올리거나 시스템 전체에 접근할 수 있습니다.왜 심각한 문제인지컨테이너는 기본적으로 서로 격리되는 것이 특징이지만, ECScape로 인해 이 격리 보장에 금..

하이브리드 구조의 기본 아이디어전통적 서버리스인 Lambda는 짧은 작업, ECS는 지속적 과업에 각각 강점이 있습니다. 이 둘을 함께 쓰면, 꾸준한 작업과 갑작스러운 트래픽에 모두 유연하게 대응할 수 있습니다.언제 쓰면 좋은가?백그라운드 작업을 컨테이너 환경에서 안정적으로 처리할 때갑작스런 트래픽이 몰릴 땐 ECS로 충분히 대응하기 어려울 때ECS를 과도하게 할당하지 않고 비용 최적화를 원할 때Lambda와 ECS에서 거의 같은 코드베이스를 활용하고 싶을 때활용 예시실시간 데이터 처리 파이프라인: ECS는 꾸준히 스트림을 처리, Lambda는 갑자기 데이터가 몰릴 때 추가로 대응PDF 즉시 생성: ECS에서 대량 작업, Lambda로 단건 작업 처리이미지/영상 처리 대기열 관리주요 구성 요소와 역할SQ..

AWS Secrets Manager의 역할AWS Secrets Manager는 암호, API 키 등 중요한 정보를 안전하게 저장하고 관리할 수 있는 서비스입니다. 자동으로 비밀번호를 정기적으로 변경해줄 수 있고, 다양한 AWS 서비스와 쉽게 연동됩니다.데이터베이스 암호 자동 교체Secrets Manager를 활용하면 RDS 같은 데이터베이스의 비밀번호를 Lambda 함수로 주기적으로 새로 만들고 자동으로 업데이트할 수 있습니다. 이는 보안 사고 위험을 줄이는 데 큰 도움이 됩니다.ECS 환경 변수로 안전하게 주입AWS ECS 서비스와 Secrets Manager는 완벽하게 연동됩니다. ECS 태스크를 시작할 때, 필요한 비밀번호와 같은 비밀 정보를 환경 변수로 받아와 내부 애플리케이션에서 안전하게 사용할..