/*
-- Title : [SNF] 스노우플레이크 소개
-- Tag : 스노우플레이크 snowflake
*/
■ 스노우플레이크 소개
스노우플레이크는 2014년 기업이 가진 데이타를 잘 정리해주는 데이타 웨어하우스, 데이타 창고로 시작했고, 2019년에는 데이타 웨어하우스를 이용하는 사용자들이 쉽게 만나고 연결해 줄 수 있는 클라우드 데이타 플랫폼으로 발전했으며, 2020년이후에는 이를 데이타를 클라우드에서 공유할 수 있도록 만들어 시간적, 공간적, 물리적 제한없이 언제든 자유롭게 데이타를 공유하고, 판매할 수 있는 기업으로 성장.
- 2014년, 기업의 데이타를 잘 정리해주는 데이타 웨어하우스로 시작
- 2019년, 데이타 웨어하우스 사용자들을 연결, 공유, 판매할 수 있는 클라우드 데이타 플랫폼으로 발전
- 2020년, 클라우드에서 데이타를 공유, 판매할 수 있는 데이타 클라우드로 발전
■ 데이터 파이프라인 변화
빅데이터 환경에서 다양한 유형의 데이터 저장 및 처리를 위한 데이터 엔지니어링 비용 절감의 필요성과 데이터 이해가 높은 데이터 분석가들이 데이터를 빠르고 손쉽게 추출할 수 있는 환경이 필요함에 따라 ELT 전환이 요구됨
■ ELT(Extractioin - Loading - Transformatio)의 필요성
■ Snowflake 아키텍처
- 중앙집권식 스토리지(Centralized Storage)는 정형/비정형의 모든 데이타가 저장되고 일관성이 유지되는 곳
- 다중 클러스터 컴퓨팅(Multi-Cluster compute)은 중앙 집권식 스토리지에서 이용하는 데이타 단일 복사본에 액세스해서 여러 사용 사례를 개발
- 클라우드 서비스(Cloud Services)는 고객들이 스노우플레이크 플랫폼을 쉽고, 친화적인 사용자 경험을 제공
■ Modern data pipeline with Snowflake technology
- 데이터 웨어하우스(Data Warehouse)
. 최신 클라우드 데이터 웨어하우스를 지원하기 위해 구축된 데이터 플랫폼에서 데이터 분석을 가속화
. 모든 유저들이 쉽게 데이터 접근 가능
. SQL 기반으로 포괄적 데이터 분석 - 데이터 레이크(Data Lake, Raw Data)
. 최신 데이터 레이크 전략을 통해 데이터 액세스, 성능 및 보안 향상
. 스노우플레이크 플랫폼에 데이터 레이크(Raw data) 구축
. 중앙 데이터 저장소 역할 + 강력한 보안
. 모든 데이터를 안전하게 저장 - 데이터 엔지니어링(Data Engineering)
. 고객이 선택한 언어로 간단하고 안정적인 데이터 파이프라인 구축
. 다양한 부서에서 SQL을 이용해 데이터 파이프라인을 손쉽고 효율적으로 구축·관리
. Raw data를 사용 가능한 데이터로 변환
. 실시간 데이터 변환을 통한 빠른 의사 결정 지원 - 데이터 과학(Data Science)
. 선택한 프레임워크를 사용하여 모델링을 위한 간단한 데이터 준비
. 통계 분석 툴, 머신러닝 기술 등을 이용해 방대한 양의 데이터를 분석
. 대규모 Raw data를 변환해 고급 데이터 분석 제공
. 다양한 프로그래밍 언어 지원(Python, Java, Scala, R 등) - 데이터 어플리케이션(Data Applications)
. 비용 효율적 확장 및 빠른 분석 기능을 일관되게 제공하는 데이터 집약적인 앱개발을 간소화
. 분석용 애플리케이셔 개발 및 제공
. 스노우플레이크를 기존 비즈니스 앱으로 연결 - 데이터 교환(Data Exchange)
. 비즈니스 생태계에서 실시간 데이터 공유 및 협업
. 데이터를 공유하고 서로 연결하고 협업할 수 있도록 해주는 솔루션
. 데이터 허브를 통해 여러 사용자가 쉽게 정보 교환
. 서로 다른 협력 기업들끼리도 빠른 데이터 교환
■ Snowflake Data Marketplace
- 세계 유수 기업의 다양한 데이터 및 데이터 서비스, 애플리케이션을 제공
- Snowflake Data Cloud의 기능을 활용하여 타사 제공업체의 데이터 및 서비스, 애플리케이션을 안전하게 액세스
- 셀프 서비스 평가판과 데이터, 앱에 대한 직접 액세스로 빠르게 참고 구매
※ Resources
- https://www.altexsoft.com/blog/snowflake-data-warehouse-pros-cons/
- https://happist.com/583463/%EC%8A%A4%EB%85%B8%EC%9A%B0%ED%9...
- https://www.snowflake.com/en/