Cloud
DataBase
체원
2022. 5. 30. 14:55
클라우드와 데이터처리
⛅ 클라우드 현황
모든 분야의 기업에서 클라우드 채택 가속화 중
문제 : 마이그레이션 ➡ 각 기업 워크로드의 60%는 여전히 온프레미스
클라우드 개념과 용어
cloud
- 가상화 ➡ 사용자 구성, 제공 업체 관리 및 유지 보수
- 핵심 : 가상화, 분산컴퓨팅 기술력
Public/Private & Hybrid Cloud
Public Cloud
- 공용
- 개별 조직이 소유
Private Cloud
- 사설
- sw 서비스를 사용료를 내고 이용
Hybrid Cloud
- Public + Private 결합 형태
CSP
- Cloud Service Provider
- ex) aws, gcp, azure, ncloud, kt-biz
- CSP 사업자에 따라 Disk iop, 네트워크 제공 스펙, private network, 보안 수준이 다름
MSP
- Managed Service Provider
- 네트워크를 통해 여러 기업들에게 network, app, system, e-management 서비스 제공 사업자
- 컨설팅과 시스템 구축은 물론 사후 서비스까지 클라우드와 관련된 모든 서비스를 제공
IaaS / PaaS / SaaS
IaaS
- CPU core 수, memory 용량, disk 사이즈 등 필요한 만큼의 자원을 선택
- On-demand 과금
Paas
- 태동은 미들웨어와 유사
- 미들웨어 없이 AP 개발 힘들듯이,
- PaaS없이 클라우드 플랫폼 위에서 개발하는 일은 어려움
- 개발 환경 구성, 확장성, 가용성, 보안 제공
- 빠른 개발 환경 지원
SaaS
- 다양한 목적의 SaaS app들이 클라우드 인프라 위에서 실행
💾 Database 개념
여러 사람에 의해 공유되어 사용될 목적으로 통합하여 관리되는 데이터의 집합
관계형 DB
DBMS
데이터의 집합을 만들고, 저장 및 관리할 수 있는 기능들을 제공하는 응용 프로그램이다.
즉, 데이터의 관리에 특화된 프로그램이라고 생각하면 편하다
- 종류 : 오라클, MySQL, MariaDB, PostgreSQL, SQLite, MongoDB ···
AWS의 클라우드 DataBase
https://aws.amazon.com/ko/free/database
📌 빅데이터
빅데이터 3대 요소 (3V)
- Volume
- Variety
- Velocity
빅데이터 프로젝트 도전과 좌절
- 이용 목적이 명확하지 않은 데이터 수집은 무의미
개인화 추천 시스템과 같은 빅데이터 시장
전통적인 데이터 분석 시스템 (방법)
- 많은 비용과 기간이 필요한 웨어하우스 보다는 부서별 마트를 먼저 구축
- 운영 시스템 → 데이터 마트 → 사용자
- 여러 데이터 마트간의 데이터 중복 등 문제 발생
- 전사 용도의 데이터 웨어하우스 구축
- 운영 시스템 → 웨어하우스 → 데이터 마트 → 사용자
- RDBMS 기반
- schema 미리 정의 (데이터 로딩 위함)
- 정기적 리포트 생성, 간단한 Ad-hoc 분석
- 대규모 비용 선투자
AWS를 활용한 빅데이터 분석 시스템
Soure ➡ Data lake ➡ DW / Mart
- 관계형/비정형 데이터 모두 저장
- DW와 Data Lake간 쉬운 데이터 이동
- Cataloging을 통한 가시성, 데이터거버넌스
- 인사이트 얻기 위한 다양한 분석 엔진 사용
- 낮은 비용의 스토리지, 낮은 선투자 비용
AWS는 빅데이터 분석 시스템을 위한 모든 서비스를 제공
- Data Lake(S3)
- 특징 : Raw Date를 그대로 저장
- Insight 미리 예측 불가능
- 다양한 원시 데이터를 가공하여 분석하는 과정에서 발견되는 경향이 있음
- 카탈로깅 필요
- Data Warehouse (Redshift)
- Columnar, MPP, Nvme SSD
- BI (QuickSight)
- Date Lake와 Data Warehouse 동시 연결성 제공, 통합적 분석 가능
