반응형
/*
-- Title : [DBR] Cluster 만들기
-- Tag : 클러스터 cluster
*/
■ 클러스터란?
프로덕션 ETL 파이프라인, 스트리밍 분석, 임시 분석 및 기계 학습과 같은 데이터 엔지니어링, 데이터 과학 및 데이터 분석 워크로드를 실행하는 계산 리소스 및 구성 집합을 의미
■ 클러스터 유형
- 다목적 클러스터
- UI, CLI, REST API로 다목적 클러스터 생성
- 여러 사용자가 공유하여 공동 대황형 분석 수행
- 수동으로 종료/재시작 - 작업 클러스터
- 새 작업 실행시 작업 클러스터 생성
- 작업 완료시 클러스터 종료
- 다시 시작 불가
■ 클러스터 만들기
ㅁ Web UI 에서 만들기
• Web UI > 만들기 > 클러스터
• Web UI > 컴퓨팅 > Compute 만들기
• 클러스터 생성
- CE 버전에서는 Default만 설정 가능
ㅁ 노트북에서 만들기
• Web UI > 만들기 > 노트북 > 노트북 만들기
• 연결 > 클러스터에 연결 설정
■ 클러스터 생성 확인
※ Resources
- https://learn.microsoft.com
- https://hevodata.com/
- https://sparkbyexamples.com/spark/types-of-clusters-in-databricks/
반응형