반응형
/*
-- Title : Data Engineer vs. Data Scientist
-- Reference : www.oreilly.com
-- Tag : 데이터 엔지니어링 데이터 과학자 데이터 사이언티스트
*/
■ 데이터 엔지니어란?
빅데이터 환경에서 데이터 인프라를 구축하고 관리하는 엔지니어로
- 비즈니스에 필요한 데이터를 수집하고 정비•가공•구축하여
- 데이터 과학자가 손쉽게 데이터를 분석•활용할 수 있는 데이터 셋이나 기반을 제공하고
- 데이터 과학자가 개발한 분석 모듈이나 비즈니스 로직을 전체 Product에 반영하여
체계적이고 자동화된 데이터 분석 환경을 지원한다.
- 데이터 수집-가공-구축
- 데이터 파이프라인 구성
- ETL, ELT 환경의 자동화
- 인프라 확장성 및 속도 제공
기존의 RDB환경에서는 다루던 데이터 환경이나 전통적 분석 방식을 벗어나 빅데이터 환경을 대응하기 위한 인프라를 구축/운영한다.
■ 단순 Venn Diagram
- 데이터 과학자 : 데이터를 분석하여 지식과 통찰력을 발견하여 비즈니스 의사 결정을 촉진
- 데이터 엔지니어 : 데이터 과학자에 필요한 데이터를 제공하기 위한 데이터 처리 및 시스템 운영
■ 핵심 역량과 기술
- 데이터 과학 : 통계학, 머신러닝, 딥러닝, 도메인 지식
- 데이터 엔니지어링 : 빅데이터 인프라, 분산처리 기술, 분산 시스템 파이프라인, 실시간 처리 시스템
■ Data Scientist, ML Engineer, Data Engineer 위치
반응형