데이터 매시 vs. 패브릭

2023. 4. 5. 23:50

/*
-- Title : 데이터 매시 vs. 패브릭
-- Tag : 데이터매시 데이터패브릭 data mesh data fabric
*/

■ 데이터 패브릭

'데이터와 연결 프로세스의 통합 계층을 일컫는 설계 개념' - Expersight 설명

데이터 패브릭은 중앙 집중식 데이터 관리를 체계화하는 단일 통합 플랫폼으로 데이터 보안 및 거버넌스 등 중앙 집중식으로 관리를 하고 데이터는 중앙으로 통합하는 프로세스의 부산물(Data is a by-product)로 취급한다.

데이터 패브릭은 아키텍처, 데이터 관리 및 통합 소프트웨어, 공유 데이터로 구성된 종단 간 데이터 통합 및 관리 솔루션으로 조직의 데이터 관리를 지원하고 전 세계 조직의 모든 구성원에게 실시간으로 통합되고 일관된 사용자 경험과 데이터 액세스를 제공한다.

ㅁ 모놀리틱 아키텍처 (Monolithic Arcihtecture)

데이터 패브릭 개념의 전통적인 방식으로 여러 Data Source가 하나의 데이터 저장소에 통합되고 하나의 분석 조직이 활용하는 구조를 의미한다.

■ 데이터 매시

'Data Warehouse나 Data Lake에서 중앙 집중적으로 관리되었던 분석 데이터들을 탈중앙화하여 관리를 하는 개념'

데이터 패브릭 환경(중앙 집중식)에서의 문제점 - 여러 Data Source와 통합 저장소간의 Async 문제 및 처리를 위한 비용 이슈 - 를 해결하기 위해 제품으로서의 데이터(Data as-a-product)의 개념을 도입하여 탈 중앙화를 추구한다.

데이터 접근성 증가. 조직 내 모든 적임자가 자신의 직무에서 최고의 능력을 발휘하기 위해 필요한 데이터에 액세스.
분석 기능 향상. 데이터가 매일 사용되는 제품으로 간주되면 팀에서 계획 및 전략에 대한 데이터 우선 접근 방식을 취하기 시작. 이로 인해 오류가 감소하고 비즈니스 개발에 대한 의견 중심의 접근법이 보다 객관적.
커스터마이즈 가능한 데이터 파이프라인 및 프로세스. 기존의 시간 또는 리소스 손실 없이 새로운 프로젝트 모델에 빠르게 액세스하고 테스트.
병목 현상 감소. IT 팀과 데이터 소유자 모두에게 확실한 기획 제공 및 사일로를 없애는 데 도움.
중앙 데이터 관리 팀의 업무 부담 감소. 보다 전문적이고 집중적인 업무 전념 가능.

■ 데이터 매시 플래폼

■ 데이터 매시 요소

데이터 도메인 오너쉽(Domain Ownership)
데이터 생성과 사용자 수의 증가, 데이터 접근 정책의 다양성과 데이터의 확장에 대응.
데이터 제품(Data as a product)
데이터 사용자가 데이터를 쉽게 검색, 품질이 보장된 데이터를 사용, 데이터에 대한 이해도와 생산성이 높아짐.
셀프 서비스 플랫폼(Self-serve data platform)
각 도메인 팀이 자율적으로 제품을 만들고 사용할 수 있도록 하며 data product를 쉽게 구축, 실행 및 운영.
페더레이션된 거버넌스(Federated computational governance)
데이터 사용자가 상호 운용을 위한 표준을 따르는 생태계로 운영.

※ Resources

디비랑[dɪ'bɪraŋ]