Cloud/Google Cloud Platform

GCP 기초

체원 2022. 5. 31. 11:37

Google Cloud Platform

Pricing, Services and Support

🌏 Google Cloud Platform (GCP)

  • μ›”λ“±ν•œ κΈ€λ‘œλ²Œ λ„€νŠΈμ›Œν¬ ➑ Latency, μ•ˆμ •μ„± ↑
  • ML 및 데이터 뢄석
  • ν˜‘μ—… 및 생산성 도ꡬ
  • Security / Scale / Control

ν”Œλž«νΌ 특μž₯점

세계 졜고 μˆ˜μ€€μ˜ κΈ€λ‘œλ²Œ λ„€νŠΈμ›Œν¬ 인프라

  • IDC와 리전 수 倚
  • 자체 망을 가지고 있음 (ISP)

πŸ“Œ κΈ€λ‘œλ²Œ λ‘œλ“œλ°ΈλŸ°μ‹±

μ‹¬ν”Œν•˜κ²Œ 1개 IP둜 λ‘œλ“œλ°ΈλŸ°μ‹±

GCLB

  • λ²„νŠΌ ν•œ 번으둜 생성
  • ν”„λ¦¬μ›Œλ° 없이 κ°„λ‹¨ν•˜κ²Œ μŠ€μΌ€μΌ μ—… λ˜λŠ” Global anycast IP λ‘œλ“œλ°ΈλŸ°μ‹±
  • 고객의 지역에 물리적으둜 κ°€μž₯ κ°€κΉŒμš΄ μ„œλ²„μ— μžλ™μœΌλ‘œ λ‘œλ“œ λΆ„μ‚°

 

λ³΄μ•ˆ μˆ˜μ€€ 졜고의 μ„ λ‘μ£Όμž

  • κ°€μž₯ μ•ˆμ „ν•œ ν΄λΌμš°λ“œ
  • λͺ¨λ“  데이터 μ•”ν˜Έν™”

 

보닀 κ°•λ ₯ν•œ λ³΄μ•ˆμ„ μœ„ν•œ κ³„μΈ΅ν™”λœ λ°©μ–΄

  • 물리μž₯λΉ„ : 타이탄, 자체 μ œμž‘ 특수 λͺ©μ  λ„€νŠΈμ›Œν¬ 컨트둀러

GCP 전체 μ„œλΉ„μŠ€

ν˜μ‹ μ  가격 λͺ¨λΈ

Sustained Use Discount

  • μ„ λΆˆ λΉ„μš© μ—†μŒ
  • μ’…λŸ‰μ œ
  • 해지 수수료 μ—†μŒ

μ»€μŠ€ν…€ λ¨Έμ‹  νƒ€μž…

Machine type μž„μ˜ μ‘°μ • κ°€λŠ₯

  • Cores
  • Memory

라이브 λ§ˆμ΄κ·Έλ ˆμ΄μ…˜

  • μ„œλ²„ μ κ²€μ‹œ 무정지 μƒνƒœλ‘œ λ‹€λ₯Έ 물리 λ¨Έμ‹ μœΌλ‘œ 이동 μ‹œν‚¨ν›„ 점검
  • μ •κΈ° μ κ²€μœΌλ‘œ μΈν•œ λ‹€μš΄ νƒ€μž„μ΄ μ—†μŒ ➑ **업계 μ΅œμ†Œμ˜ λ‹€μš΄ νƒ€μž„**

λ‚΄λΆ€ λ„€νŠΈμ›Œν¬

  • 1 VCPU = 2 Gbps (up to 16Gbps)

VM λ„€νŠΈμ›Œν¬ μ„±λŠ₯ μ’‹μŒ

  • 리전에 따라 닀름

ν΄λΌμš°λ“œ λ„€νŠΈμ›Œν¬ 티어링

  • Standard ➑ μ €λΉ„μš©
  • Premium βž‘λ†’μ€ μ•ˆμ •μ„±, λΉ λ₯Έ μ„±λŠ₯

κΈ€λ‘œλ²Œ VPC

  • μ–΄λ–€ 리전 간에도 μžλ™μœΌλ‘œ ν•˜λ‚˜μ˜ 가상 λ„€νŠΈμ›Œν¬(VPC) μžλ™ μ—°κ²°
  • VPN 및 인터넷 곡용망이 μ•„λ‹Œ κ΅¬κΈ€μ˜ λ°±λ³Έ λ„€νŠΈμ›Œν¬λ₯Ό 톡해 λͺ¨λ“  리전에 μ ‘κ·Ό κ°€λŠ₯

πŸ“Œ compute

VM μ„±λŠ₯·ν”„λ‘œμ„Έμ‹± 타사 λŒ€λΉ„ μ’‹μŒ μ£Όμž₯

Google App Engine

  • 개발 μ½”λ“œμ˜ 집쀑
  • ꡬ글 μŠ€μΌ€μΌμ˜ 배포
  • λ§‰κ°•ν•œ 빌트인 μ„œλΉ„μŠ€λ“€
  • μΉœμˆ™ν•œ 개발 툴
  • μ£Όμš” μ–Έμ–΄ 및 ν”„λ ˆμž„μ›Œν¬ 지원
  • λ‹€μˆ˜μ˜ μŠ€ν† λ¦¬μ§€ μ˜΅μ…˜
  • κΈ°λ³Έ PaaS ν•œκ³„μ  돌파

영ꡬ λ””μŠ€ν¬ (Persistent Disk)

  • μΈμŠ€ν„΄μŠ€λ‹Ή μ΅œλŒ€ 64TB, 68만 IOPS보μž₯
    • IOPSκ°€ 보μž₯λ˜λŠ” λ””μŠ€ν¬ μ„±λŠ₯
  • λ‹€μš΄νƒ€μž„ 없이 μš΄μ˜μ€‘ λ¦¬μ‚¬μ΄μ¦ˆ κ°€λŠ₯
  • λͺ¨λ“  리전에 걸쳐 μ‹±κΈ€ 이미지 곡유 κ°€λŠ₯
  • NO PIOPS

Hybrid / Multi-Cloud

πŸ“Œ μ»¨ν…Œμ΄λ„ˆ (Kubernetes)

κ΅¬κΈ€μ—μ„œ λͺ¨λ“  것은 μ»¨ν…Œμ΄λ„ˆ

맀주 40μ–΅ 개의 μ»¨ν…Œμ΄λ„ˆλ₯Ό μƒˆλ‘œ λΉŒλ“œ

  • Gmail, Web Search, Maps...
  • MapReduce, batch...

μ‚¬μ‹€μƒμ˜ PaaS Cloud의 ν‘œμ€€ Kubernetes

  • λΉ„μš© 경제적
  • μΏ λ²„λ„€ν‹°μŠ€ κΈ°λ°˜μ„ 많이 μ‚¬μš© 쀑

πŸ“Œ Anthos

μ§„μ •ν•œ 의미의 ν•˜μ΄λΈŒλ¦¬λ“œ ν”Œλž«νΌ

κ΅¬κΈ€μ˜ κ΄€λ¦¬ν˜• s/w μŠ€νƒ

μ˜¨ν”„λ ˆλ―ΈμŠ€ 및 ν΄λΌμš°λ“œ ν™˜κ²½μ—μ„œ app을 λΉŒλ“œν•˜λŠ”λ° 도움

  • λ³΅μž‘ν•΄μ§€λ―€λ‘œ ꡬ좕에 ꢌμž₯ν•˜μ§€ μ•ŠμŒ
  • μΈν”„λΌμ˜ 정점
  • μΏ λ²„λ„€ν‹°μŠ€ 기반

ν•˜μ΄λΈŒλ¦¬λ“œ ν™˜κ²½ Serverless 개발 도ꡬ

Knative ➑ Cloud Run

  • Knative : μΏ λ²„λ„€ν‹°μŠ€ 상 μ„œλ²„λ¦¬μŠ€ μ›Œν¬λ‘œλ“œμ˜ λΉŒλ”© 블둝
  • Cloud Run : Knative API 기반의 GKE μƒμ˜ μ„œλ²„λ¦¬μŠ€ 개발자 ν™˜κ²½

πŸ“Œ Storage and DataBase

데이터 μ €μž₯μ†Œ 선택

ν΄λΌμš°λ“œ μŠ€ν† λ¦¬μ§€ (GCS)

μ‚¬μš©λŸ‰ 계약 μ œμ•ˆ

AWS ➑ RI , GCP ➑ PiB

  • 1λ…„ μ‚¬μš©λŸ‰μ„ μ•½μ • ν›„, 1λ…„ μ‚¬μš©λŸ‰ λ„˜λ”λΌλ„, λ„˜λŠ” λΆ€λΆ„ μ§€λΆˆν•˜μ§€ ❌ ꡬ쑰
  • 계약 κ°±μ‹ μ‹œ, 전년도 말의 μ‚¬μš©λŸ‰ κΈ°μ€€μœΌλ‘œ κ°±μ‹ 

DataBase_Bigtable

  • μ‹œκ³„μœ¨μ— 적합
  • μ˜€ν”ˆ μ†ŒμŠ€ 기반

Cloud Spanner

λ―Έμ…˜ ν¬λ¦¬ν‹°μ»¬ν•œ μ„œλΉ„μŠ€λ₯Ό μœ„ν•œ ꡬ글 ν΄λΌμš°λ“œμ˜ κ΄€κ³„ν˜• 데이터 베이슀 μ„œλΉ„μŠ€

  • 전톡적 RDBMS νŠΉμ§• κ·ΈλŒ€λ‘œ 지원
  • 운영 ν•„μš” ❌
  • BUT, μ΄μŠˆκ°€ λ§Žμ•„μ„œ 잘 μ‚¬μš© ❌ ➑ μ œν’ˆ μ•ˆμ •ν™” ν•„μš”

πŸ“Œ Data Analytics

GCP 의 강점 : 데이터 μ²˜λ¦¬λŸ‰ 졜고 μˆ˜μ€€
Big Query μ„±λŠ₯ μ’‹μŒ

Google Scale ν΄λΌμš°λ“œ 기반 데이터 뢄석

  • No-Ops ➑ λ³„λ„μ˜ 운영 ν•„μš” ❌
  • μŠ€μΌ€μΌ
  • λΉ„μš© : ꡉμž₯히 λ†’μ€νŽΈ ➑ λͺ¨λ‹ˆν„°λ§ ν•„μˆ˜
  • ν΄λΌμš°λ“œ μŠ€μΌ€μΌ μ„±λŠ₯

Big Query

google BigDate의 핡심 엔진

  • νŽ˜νƒ€ λ°”μ΄νŠΈ λ‹¨μœ„μ˜ μŠ€ν† λ¦¬μ§€ 및 쿼리
  • μ•”ν˜Έν™”, 내ꡬ성, κ³ κ°€μš©μ„±
  • νŽΈλ¦¬ν•œ ν‘œμ€€ SQL
  • μ™„λ²½ κ΄€λ¦¬ν˜• 및 μ„œλ²„λ¦¬μŠ€
  • 슀트리밍 데이터 μ‹€μ‹œκ°„ 뢄석 ➑ λΉ„μš© λ”°λ‘œ λ°œμƒ
  • GCP의 λΆ„μ„μš© μ—”ν„°ν”„λΌμ΄μ¦ˆ 데이터 μ›¨μ–΄ν•˜μš°μŠ€
  • 일반 RDB에 λΉ„ν•΄ 10~100λ°° λΉ λ₯Έ μ„±λŠ₯

Big Query Architecture

Decoupled storage and compute for maximum flexibility

SQL 기반의 BigQuery ML

  • 데이터 μ΄μ „ν•˜μ§€ μ•Šκ³  ML ν”„λ‘œμ νŠΈ μˆ˜ν–‰
  • SQL둜 λͺ¨λΈ 반볡 ν…ŒμŠ€νŠΈ ➑개발 μ‹œκ°„ 단좕
  • λͺ¨λΈ 선택 및 ν•˜μ΄νΌνŠœλ‹ μžλ™ν™”

BigQuery DML

  • GDPR
DML (Data manipulation language)
DBμ—μ„œ 데이터λ₯Ό μ‘°μž‘ν•˜λŠ” λͺ…λ Ήμ–΄. 즉 μš°λ¦¬κ°€ κ°€μž₯ 많이 μ‚¬μš©ν•˜λŠ” SELECT, INSERT, UPDATE, DELETE 등이 ν•΄λ‹Ή

DataPrep

  • 데이터 λ³€ν™˜ 및 λ‘œλ”© μ†”λ£¨μ…˜
  • 데이터 λ‘œλ”©
  • ν•œλ²ˆμ˜ ꡬ성을 톡해 μ›ν•˜λŠ” 포맷으둜 데이터 λ³€ν™˜ κ°€λŠ₯
  • 데이터 λ³€ν™˜ 뿐이 μ•„λ‹Œ, 데이터 자체λ₯Ό μ‹œκ°λ„κ΅¬λ₯Ό 톡해 직접 확인 κ°€λŠ₯

Cloud Data Fusion (ETL)

μ™„μ „ κ΄€λ¦¬ν˜• ν΄λΌμš°λ“œ λ„€μ΄ν‹°λΈŒ μ—”ν„°ν”„λΌμ΄μ¦ˆ 데이터 톡합 μ„œλΉ„μŠ€

  • λΉ„μš© 맀우 λΉ„μŒˆ

 

Cloud Data Fusionκ³Ό CDAP (μ˜€ν”ˆμ†ŒμŠ€)

  • cloud data fusion : CDAP둜 κ΅¬λ™λ˜λŠ” μ—”ν„°ν”„λΌμ΄μ¦ˆ 데이터 톡합을 μœ„ν•œ google ν΄λΌμš°λ“œ λ„€μ΄ν‹°λΈŒ 관리 μ„œλΉ„μŠ€
  • CDAP : μ˜¨ν”„λ ˆλ―ΈμŠ€ 및 ν΄λΌμš°λ“œ 기반 데이터 뢄석 app을 κ΅¬μΆ•ν•˜κΈ° μœ„ν•œ 100% μ˜€ν”ˆμ†ŒμŠ€ ν”„λ ˆμž„μ›Œν¬

 

Data Fusion - 메타데이터 톡합

  • Tags와 Properties 지원
  • 검색을 μœ„ν•œ μ—”ν‹°ν‹° μ°ΎκΈ°
  • 데이터 μ…‹ 및 ν•„λ“œ 레벨의 Data Lineage

Datastudio (BI/Reporting)

  • ꡬ글 λ¦¬ν¬νŒ… BI툴 (ν΄λΌμš°λ“œ SaaS) - 무료 βž‘ μ„±λŠ₯ μ œν•œ 쑴재
  • CloudSQL, MySQL, BQ, GA 등을 데이터 μ†ŒμŠ€λ‘œ μ‚¬μš© κ°€λŠ₯
  • word와 같은 νŽΈμ§‘ κΈ°λŠ₯으둜, λΉ„ κ°œλ°œμžλ„ μ‰½κ²Œ 리포트 생성 κ°€λŠ₯

Looker BI

google cloud 와 잘 λ§žλŠ” BI ν”Œλž«νΌ
  • λΉ„μš©μ΄ λ†’μŒ ➑ 잘 μ‚¬μš©ν•˜μ§€ μ•ŠμŒ
  • Embedded Analytics
    • μ›ΉμŠ€μΌ€μΌ
    • κ°„λ‹¨ν•œ ꡬ쑰
    • κ±°λ²„λ„ŒμŠ€, μ‚¬μš©μž κΆŒν•œ 및 μ‰¬μš΄ 관리λ₯Ό μœ„ν•œ λͺ¨λΈλ§ 계측

πŸ“Œ AI & ML (Machine Learning)

Google I/O Duplex Demo

μ „ν™” μ˜ˆμ•½ 등에 μ‚¬μš©λ˜λŠ” AI 기술

Waymo ML

μžμœ¨μ£Όν–‰ μžλ™μ°¨μ— μ‚¬μš©

Google's BigData and AI Process

The Challenges of ML

  • Large Datasets
  • Good Models
  • Lots of Computations

Three Types of ML on Google Cloud

  1. TensorFlow
  2. Custom Models
  3. Pre-built Models

Vision / Video Intelligence / Speech API

  • 사진 /μ˜μƒ / μŒμ„±

Dialogflow

  • κ³ κΈ‰ λŒ€ν™”ν˜• μΈν„°νŽ˜μ΄μŠ€λ₯Ό μœ„ν•œ 크둜슀 ν”Œλž«νΌ 툴
  • ꡬ글 λ‹€μ–‘ν•œ μ œν’ˆμ— 적용 κ°€λŠ₯

TPU

  • κ³Όκ±°μ—λŠ” GPU μ‚¬μš©
  • GPU보닀 μ„±λŠ₯이 μ’‹μŒ

Recommendations AI

  • λŒ€κ·œλͺ¨ ν™˜κ²½μ„ μœ„ν•œ κ°œμΈν™”λœ 맞좀 μΆ”μ²œ 제곡
  • λ§ˆμΌ“μ—μ„œ 졜고의 μ•Œκ³ λ¦¬μ¦˜ ν™œμš©
  • μ‚¬μš©μž 행동에 μ‹€μ‹œκ°„ 적용
  • λΉ„μš© 예츑 λΆˆκ°€

πŸ“Œ Marketing Analytics

Big data analytics in marketing

  • Collect
  • Transform
  • Analyze
  • Visualize
  • Activate