AWS SAA - (2) 스토리지

AWS 스토리지

 

1) Instance Store 

 

인스턴스에 직접 연결된 블록 형태의 스토리지.

임시 스토리지로, 인스턴스 중지/종료 또는 하드웨어 장애 시에 데이터를 유지할 수 없다.

 

2) EBS ( Elastic Block Storage )

 

인스턴스 중지/종료 시에도 데이터를 보존해주며 EBS 스냅샷을 통한 정기적인 백업도 가능하다.

다른 인스턴스로 붙일 수 있고, 스토리지 암호화를 제공한다.

 

ㅁ 크게 HDD (처리량 워크로드)와 SSD (트랜잭션 워크로드 - IOPS, 지연시간 및 내구성) 로 나뉜다.

ㅁ API Call 혹은 SDK를 통해 스냅샷을 저장할 수 있다. ( S3 API는 X , 오직 EC2 API를 통해서만 )

ㅁ AWS KMS (Key Management Service)를 통해 데이터 암호화 가능

ㅁ CMK ( Customer Master Key ) 를 통해 인스턴스 시작시, 암호화된 볼륨 생성

ㅁ CMK를 통해 암호화된 AMI 및 스냅샷 공유 가능

 

3) EFS ( Elastic File Storage )

 

클라우드에서 제공하는 서버리스 파일 시스템. 인스턴스, 컨테이너, Lambda 등 다양한 목적으로 사용된다.

 

ㅁ Linux 기반의 AMI와 호환됨

ㅁ Linux Mount 명령어 및 파일시스템 DNS를 사용해서 접근

ㅁ Data Sync를 통해 On-Promise에서 데이터 이관 가능

ㅁ 클래스는 Standard ( Multi-AZ ) 및 One-Zone ( Single-AZ )로 나뉜다

ㅁ IA ( Infrequent-Access ) 스토리지를 통해, 사용이 적은 파일을 저렴한 가격으로 보관할 수 있다.

   => 수명주기를 통해 기준을 정하거나 Intelligent-Tiering을 통해 자동으로 분류한다.

ㅁ Provisioned Throughput 모드를 통해, 용량 대비 처리량이 높은 스토리지 사용 가능

   ※ 기본 모드는 버스트 모드

ㅁ Cloud Watch를 통한 파일시스템 모니터링 및 Cloud Trail을 통해 API 호출로그 기록 가능

 

4) S3 ( Simple Storage Service )

 

객체 스토리지 서비스 이다.

EFS 처럼 IA 및 Intelligent-Tiering이 존재하며

아카이빙용도로 S3 Glacier / S3 Glacier Deep Archive(1년에 1,2번 엑세스)가 있다.

 

ㅁ ACL보다 IAM을 통해 정책으로 제어하고, 리소스 기반 정책을 통해 권한 관리를 한다

ㅁ IA를 제외하고 Standard, Glacier 클래스는 최소 3개의 가용영역에 저장된다

ㅁ PUT, DELETE 등의 S3작업에 이벤트를 걸어 SNS,SQS를 통해 전송되거나 Lambda로 직접 연결될 수 있다

ㅁ S3 Transfer Acceleration로 엣지 로케이션을 통해, 빠르게 데이터 전송 가능

    => GB 및 TB 단위의 데이터를 정기적으로 전송할때 유용

    => 더 큰 대량의 데이터는 Snowball을 통해 전송

ㅁ Direct Connect를 통한 프라이빗 네트워킹

ㅁ 키관리

 = SSE-S3 : 아마존에서 키 관리 및 키 보호를 수행

 = SSE-C : 암호화 라이브러리는 구현하지 않지만, 키 관리는 고객이 해야함

 = SSE-KMS : 사용자가 서버 암호화 및 키 관리 수행. 엑세스 차단 및 접근 시도 로그를 볼 수 있음

ㅁ Endpoint를 통해 VPC 내에서 S3에 바로 붙을 수 있다.

  => 주로 인터넷 게이트웨이, NAT 게이트웨이로 연결하던 네트워킹을 저렴한 금액으로 연결하기 위한 문제로 나옴

  => 다른 리전일 경우 인터페이스 기반 Endpoint 사용 / 같은 리젼일 경우 게이트웨이 기반 Endpoint 사용 ( 무료 )

ㅁ 보안, 성능 등의 이유로 Cloud Front를 통해 붙을 수 있다. - OAI (origin access identity) 설정

ㅁ Amazon Macie을 통해 AI 머신러닝 기반으로 S3 데이터를 보존할 수 있다

ㅁ 버전관리를 통해 데이터 변경될때마다 객체를 보존, 검색 및 복원 가능

ㅁ MFA ( Multi-Factor Authentication ) Delete를 사용하여

   객체 삭제시에 AWS 자격증명 외에 추가 인증을 설정할 수 있다

ㅁ 기존 Tape에서의 마이그레이션

 - 가상 테이프 라이브러리 (VTL)을 통한 통합

 - Snowball 혹은 Snowmobile

 - Direct connect

ㅁ 객체 태그를 통해 엑세스 제어, 태그별 데이터 분류 등 스토리지 관리에 용이

ㅁ 배치를 통해 단일 객체작업 혹은 Lambda 실행, Cloud trail 전송을 자동화 할 수 있음

ㅁ 객체 잠금을 통해 날짜를 지정하여 객체 버전 삭제 및 덮어쓰기 차단

    WORM 보호 - Write-Once-Read-Many(WORM)
ㅁ 스토리지 렌즈를 통해 사용량 및 활동지표 분석

ㅁ Global Accelerator를 사용하여 다중 리전 엑세스 포인트 설정가능.

 - 네트워크 요청을 가까운 리전으로 자동 라우팅

ㅁ 접근성이 낮은 데이터에 대해 Infrequent Access로 관리가능

 - Standard IA : 최소 3개 AZ에 저장. 가용성 및 복원력

 - One Zone IA : 단일 AZ에 저장. 빠르게 접근하고 비용도 낮으나, 가용성과 복원력이 보장 안됌

 

5) AWS Backup

 

자동으로 백업 플로우를 구축해주어 규제 및 내구성을 충족해주는 백업 서비스

 

ㅁ RTO, RPO 같은 복구시점 얘기가 나오면 Backup 관련한 문제

 ※ RTO ( Recovery Time Objectives ) : 목표 복구 시간 / RPO ( Recovery Point Objectives ) : 목표 복구 지점

ㅁ 백업 저장소 잠금을 통해 수명주기 변경 및 수동 삭제를 방지

 - Write-Once-Read-Many(WORM) 모델 사용

 

6) Storeage gateway

 

온프레미스 환경에서 클라우드 스토리지로의 연결을 제공하는 서비스 

 

ㅁ 파일기반 게이트웨이와 ( S3, FSx for windows file server ) 볼륨/테이프 기반 스토리지로 나뉜다.

ㅁ 파일기반은 NFS 혹은 SMB 프로토콜 / 볼륨 기반은 iSCSI 디바이스를 사용한다.

ㅁ 볼륨기반 게이트웨이는 캐싱방식과 저장방식으로 나뉜다

 - 캐싱 : 모든 데이터를 S3에 저장하고 자주 접근하는 데이터를 로컬에 복사한다. -> 로컬 스토리지 확장이 최소화

 - 저장 : 모든 데이터를 로컬에 저장하고, 시점마다 스냅샷을 S3에 보관 -> 낮은 지연시간 및 우수한 내구성

ㅁ 테이프기반 스토리지는 가상 테이프 라이브러리 (VTL) 사용한다 정도로 기억

ㅁ Private Link 및 Direct Connect와 함께 사용 가능

 

7) Snowball Edge

Edge 환경에서 AWS와 데이터를 주고받을 수 있는 디바이스

원격 공장/발전소, 모바일 환경등에서 사용 가능하며, 인터넷이 통하지 않아 Datasync를 사용할 수 없을때도 사용한다.

 

ㅁ Compute Optimized 기준 50TB 이므로, 문제에서 데이터 사이즈가 비슷하면 정답확률이 올라간다.

 => 유사 서비스로 Snowmobile 이 존재하고, 엑사바이트의 대규모 마이그레이션에 사용된다.

     ( 보통 10PB 를 넘냐 안넘냐로 구분함 )

 

8) FSx for Lustre

AI 분석 및 고성능 컴퓨팅의 경우 사용하는 고성능 공유파일 시스템

여러s3에 연결하여 데이터를 빠르게 처리하기도한다.

 

ㅁ 임시로 사용되는 scratch와 영구로 사용되는 persistent 로 분리됨