묻고 답하기

제목
Re:클라우드 상에서 빅데이터 분석 시
작성자
담당자
작성일
2024-11-12 16:36
조회
52
답변완료

안녕하세요. 클라우드 혁신센터입니다.


우선 빅데이터 분석 시 오토스케일링은 매우 유용하며 종종 필수적입니다. 변동적인 데이터 처리 수요, 비용최적화 등 다양한 면에서 오토스케일링이 빅데이터 분석 환경에 적합합니다. 


1. 대표적으로 오토스케일링에 적합한 클라우드 플랫폼 몇 가지를 소개해 드리겠습니다.

(1) AWS

Amazon EC2 Auto Scaling: 트래픽 증가에 따라 자동으로 인스턴스를 추가하고 감소할 수 있으며, 다양한 규칙과 조건을 설정해 리소스 확장/축소 기준을 맞춤 설정할 수 있습니다.

AWS Lambda: 서버리스 컴퓨팅 환경에서 자동으로 인스턴스를 생성하여 사용한 만큼만 요금을 지불하는 구조로, 급격한 트래픽 증가에도 대응할 수 있습니다.

- Elastic Load Balancer: 로드 밸런서를 통해 트래픽을 분산하며, 오토스케일링된 인스턴스 간 균형을 유지해줍니다.


(2) Microsoft Azure

Azure Virtual Machine Scale Sets: 여러 가상 머신을 그룹화하여 자동으로 확장/축소할 수 있습니다. 스케일링 기준을 사용자 정의할 수 있으며, 고가용성을 위한 로드 밸런서와도 연동됩니다.

Azure App Service: 애플리케이션과 API의 오토스케일링을 지원하며, 특정 기준에 따라 인스턴스를 자동으로 추가합니다.

Azure Functions: 서버리스 플랫폼에서 오토스케일링을 지원하며, 이벤트 기반 트리거를 통해 필요할 때만 리소스를 사용하는 서버리스 방식입니다.


(3) Google Cloud Platform

Google Compute Engine Autoscaler: 인스턴스 그룹에 대해 CPU 사용률이나 커스텀 메트릭을 기준으로 자동 확장과 축소를 설정할 수 있습니다.

Google Kubernetes Engine (GKE): 컨테이너 환경에서 Kubernetes 클러스터의 노드 수를 자동으로 확장할 수 있으며, 클러스터 오토스케일링과 파드 오토스케일링을 지원합니다.

Cloud Functions: 서버리스 아키텍처로, 사용한 만큼만 요금을 지불하는 이벤트 기반 오토스케일링이 가능합니다.


알리바바 클라우드 등이 있으며 하나만 추천해드린다면 AWS를 추천해 드립니다. 오토스케일링 관련 기능이 풍부하고 안정적이며 최적화된 서비스를 제공하고 있습니다.


2. 오토스케일링을 사용하면 클라우드 비용을 상당히 절감할 수 있지만 절감폭은 애플리케이션의 특성, 트래픽 패턴, 설정한 오토스케일링 정책에 따라 달라집니다. 몇 가지 주요 사례를 안내드리겠습니다.

(1) 변동성이 큰 트래픽을 처리하는 경우 

이커머스 사이트 경우 할인이벤트 등으로 트래픽이 급증했다가 트래픽이 적어지는 경우가 있습니다. 고정된 리소스를 이용하는 것보다 트래픽이 급증할 때만 인스턴스를 추가하고 평상시에는 축소하여 비용을 절감하게됩니다. 비용 절감률은 30~70%에 이를 수 있습니다.

(2) 서버리스 아키텍처 활용

AWS Lambda, Google Cloud Functions, Azure Functions 같은 서버리스 컴퓨팅에서는 사용한만큼 요금을 부과하기 때문에 평균적으로 약 40~80% 비용 절감 효과를 기대할 수 있습니다.


따라서 오토스케일링을 통해 특정 트래픽 패턴이나 데이터처리 작업에서 불필요한 비용을 줄일 수 있으며, 평균적으로 **20에서 최대 80%**까지 비용을 절감할 수 있습니다.


감사합니다.