반응형
/********************************************************************************************
-- Title : [EDW] DW 대표 기능 - Staging, ODS, DM, DW
-- Reference : blog.naver.com/rlaaudtnr8, blrunner.com/74
-- Key word : dw ODS stage staging fact mart data wareshouse data mart datamart
********************************************************************************************/


  • 운영계 시스템: 기업 운영에 필요한 업무용 시스템이며, 이 시스템의 사용자는 직원이 될 수도 있고, 외부 고객이 될 수도 있습니다.  예를 들어 전자상거래 사이트에서 물건을 주문했을 경우,  인터넷뱅킹 사이트에서 이체를 진행했을 경우, 내부 인사시스템의 사원 정보를 갱신하는 경우와 같이 프로세스가 모두 운영계 시스템에서 처리됩니다. 이 시스템에 발생하는 데이터는 대부분 데이터베이스 트랜잭션 단위로 데이터를 처리하고, 저장하며 흔히 OLTP(Online Transaction Processing) 데이터라고 표현합니다.

  • ODS:  운영계 시스템의 데이터는 트랜잭션을 중심으로 설계되어 있기 때문에,  운영계 시스템 데이터를 대상으로 데이터 분석을 진행할 경우 효용성이 매우 떨어집니다. 그래서 데이터 분석을 위한 DW(Data Warehouse)를 설계하고, 데이터를 보관하게 됩니다. ODS는 DW로 데이터를 저장하기 전에, 임시로 운영계 데이터를 보관하는 장소이며, 운영계 시스템의 이력성 데이터를 보관을 하게 됩니다. 참고로 ODS가 별도로 존재할 경우에는 운영계 시스템의 복사본으로 활용되며, DW의 일부일 경우에는 임시 저장소로 사용됩니다.

  • DW:  DW란 운영계 데이터를 사용자 관점에서 주제별로 통합하여, 별도의 장소에 저장해 놓은 통합 데이터베이스입니다. 사용자가 쉽게 이해할 수 있고, 최소한의 조인으로 데이터를 획득할 수 있도록 매우 단순한 구조로 설계되어 있습니다. DW란 데이터 창고와 같은 역할을 한다고 이해하면 됩니다. 참고로 상용 DW는 오라클의 ExaData, HP의 버티카(Vertica), IBM의 네테자(Netezza), EMC의 그린플럼(GreenPlum) 등이 있습니다.

  • DM(Data Mart): 분석의 편의성을 높이고자, DW의 데이터를 주제별, 업무별로 요약하여 구성한 데이터 저장소입니다. 일반적으로 각 부서별로 다양한 예측과 분석을 목표로 만들어집니다.

  • ETL(Extraction, Transform, Load): ETL은 데이터를 추출, 가공, 적재하는 프로세스입니다. 그림18.8의 경우 운영계 시스템과 ODS, ODS와 DW, DW와 DM간에 ETL이 진행됩니다.

  • 분석 시스템: 일반적인 보고서 시스템, BI(Business Inteligence)용으로 활용되는 온라인 분석 처리(OLAP: OnLine Analytical Processing) 시스템, 시각화 도구, 데이터 마이닝 시스템이 이 분류에 포함됩니다.


반응형

+ Recent posts