정리하고 기록하자 정리하고 기록하자

하이브리드 구조의 기본 아이디어전통적 서버리스인 Lambda는 짧은 작업, ECS는 지속적 과업에 각각 강점이 있습니다. 이 둘을 함께 쓰면, 꾸준한 작업과 갑작스러운 트래픽에 모두 유연하게 대응할 수 있습니다.언제 쓰면 좋은가?백그라운드 작업을 컨테이너 환경에서 안정적으로 처리할 때갑작스런 트래픽이 몰릴 땐 ECS로 충분히 대응하기 어려울 때ECS를 과도하게 할당하지 않고 비용 최적화를 원할 때Lambda와 ECS에서 거의 같은 코드베이스를 활용하고 싶을 때활용 예시실시간 데이터 처리 파이프라인: ECS는 꾸준히 스트림을 처리, Lambda는 갑자기 데이터가 몰릴 때 추가로 대응PDF 즉시 생성: ECS에서 대량 작업, Lambda로 단건 작업 처리이미지/영상 처리 대기열 관리주요 구성 요소와 역할SQ..

AWS Secrets Manager의 역할AWS Secrets Manager는 암호, API 키 등 중요한 정보를 안전하게 저장하고 관리할 수 있는 서비스입니다. 자동으로 비밀번호를 정기적으로 변경해줄 수 있고, 다양한 AWS 서비스와 쉽게 연동됩니다.데이터베이스 암호 자동 교체Secrets Manager를 활용하면 RDS 같은 데이터베이스의 비밀번호를 Lambda 함수로 주기적으로 새로 만들고 자동으로 업데이트할 수 있습니다. 이는 보안 사고 위험을 줄이는 데 큰 도움이 됩니다.ECS 환경 변수로 안전하게 주입AWS ECS 서비스와 Secrets Manager는 완벽하게 연동됩니다. ECS 태스크를 시작할 때, 필요한 비밀번호와 같은 비밀 정보를 환경 변수로 받아와 내부 애플리케이션에서 안전하게 사용할..

EC2 비용 절감: Spot 인스턴스와 오토스케일링 활용EC2를 계속 온디맨드로만 사용하면 요금이 크게 나옵니다. Spot 인스턴스를 사용하면 최대 90%까지 절약할 수 있어요. ASG(오토스케일링 그룹)를 같이 쓰면 Spot이 회수돼도 자동으로 온디맨드로 전환해 다운타임 없이 운용할 수 있습니다.resource aws_autoscaling_group web_asg { name = web-asg launch_configuration = aws_launch_configuration.web.name max_size = 10 min_size = 2 desired_capacity = 4 mixed_instances_policy { instances_distribution { on_dem..

AWS FinOps Dashboard란?AWS FinOps Dashboard는 터미널에서 사용할 수 있는 AWS 비용 및 리소스 관리 도구입니다. Python과 Rich 라이브러리로 개발되었으며, AWS 계정의 서비스별 비용, EC2 인스턴스 상태, 예산 사용 현황 등을 한눈에 보여줍니다. 데이터를 CSV, JSON 등으로 쉽게 내보낼 수 있습니다.설치 과정 준비하기이 도구를 설치하려면 우선 Python이 PC에 있어야 합니다. Python이 없다면 공식 사이트(https://www.python.org/downloads)에서 다운로드 후 설치하세요. 그다음, AWS CLI도 필요하니, aws cli가 없다면 공식 가이드(https://docs.aws.amazon.com/cli/latest/userguid..

EC2 Spot 인스턴스란?AWS EC2 Spot 인스턴스는 AWS가 남는 컴퓨팅 자원을 할인된 가격에 임시로 제공하는 서비스입니다. 수요에 따라 인스턴스가 예고 없이 종료될 수 있기 때문에, 비용은 저렴하지만 작업 중단을 감수해야 합니다.Karpenter의 역할과 장점Karpenter는 AWS에서 제공하는 오픈소스 Kubernetes 오토스케일러입니다. 클러스터의 상태와 워크로드를 분석해서 필요한 만큼 노드를 자동으로 생성하고 오토스케일링합니다. Spot 인스턴스와 온디맨드 인스턴스를 모두 사용할 수 있어, 자원을 효율적이면서도 경제적으로 운영할 수 있습니다.Spot 인스턴스 종료 지연 문제Spot 인스턴스가 종료될 때, 영속적인 볼륨을 사용하는 파드들은 볼륨이 제대로 분리되지 않아 재시작에 6분 이상..

Kubernetes 확장의 어려움과 기존 방식의 한계Kubernetes를 운영하면서 트래픽이 증가하면 자동으로 노드를 늘려야 하는데, 기존 Cluster Autoscaler 방식은 미리 정해둔 노드 그룹이 필요하고, 설정이 복잡하며 확장 속도가 느립니다(수 분 소요). 특히 다양한 EC2 인스턴스 유형이 필요할 때마다 직접 노드 그룹을 만들어야 해서 관리가 번거롭고 자원 활용도가 떨어집니다.Karpenter란 무엇인가?Karpenter는 AWS가 개발하고 CNCF에 기증한 오픈소스 자동 노드 프로비저닝 컨트롤러입니다. 기존 방식과 다르게, Karpenter는 Kubernetes에서 필요할 때 EC2 인스턴스를 직접 생성해주어, 노드 그룹 없이도 다양한 인스턴스 유형을 자동 선택하고 빠르게 노드를 늘릴 수..

‼️ 문제 상황: ECR에서 이미지가 삭제된 경우개발 환경에서 사용 중인 이미지가 ECR에서 삭제되어, 파이프라인 재빌드도 불가능할 때가 있습니다. 그 이미지가 남아있는 유일한 곳이 EKS 노드라면, 직접 노드에서 이미지를 복구해야 합니다.준비 환경 요약아래 환경에서 작업을 진행합니다.EKS 클러스터: 1.30.3Kubectl: 1.30.1Containerd: 1.7.11Runc: 1.1.11EKS 노드에 접속하는 방법EKS 노드에 원격으로 접근하려면 AWS 콘솔에서 세션 매니저를 사용하면 편리합니다. 인스턴스의 connect 옵션을 누르면 바로 접속할 수 있습니다.노드에서 이미지 확인하기관리자로 권한을 얻은 후, nerdctl 명령어로 노드에 저장된 이미지를 조회할 수 있습니다.sudo -snerdct..