반응형

/*
-- Title : Data Engineer vs. Data Scientist
-- Reference : www.oreilly.com
-- Tag : 데이터 엔지니어링 데이터 과학자 데이터 사이언티스트

*/


■ 데이터 엔지니어란?

빅데이터 환경에서 데이터 인프라를 구축하고 관리하는 엔지니어로
    - 비즈니스에 필요한 데이터를 수집하고 정비•가공•구축하여
    - 데이터 과학자가 손쉽게 데이터를 분석•활용할 수 있는 데이터 셋이나 기반을 제공하고
    - 데이터 과학자가 개발한 분석 모듈이나 비즈니스 로직을 전체 Product에 반영하여
체계적이고 자동화된 데이터 분석 환경을 지원한다.

  • 데이터 수집-가공-구축
  • 데이터 파이프라인 구성
  • ETL, ELT 환경의 자동화
  • 인프라 확장성 및 속도 제공

기존의 RDB환경에서는 다루던 데이터 환경이나 전통적 분석 방식을 벗어나 빅데이터 환경을 대응하기 위한 인프라를 구축/운영한다.


■ 단순 Venn Diagram

  • 데이터 과학자 : 데이터를 분석하여 지식과 통찰력을 발견하여 비즈니스 의사 결정을 촉진
  • 데이터 엔지니어 : 데이터 과학자에 필요한 데이터를 제공하기 위한 데이터 처리 및 시스템 운영


■ 핵심 역량과 기술

  • 데이터 과학 : 통계학, 머신러닝, 딥러닝, 도메인 지식
  • 데이터 엔니지어링 : 빅데이터 인프라, 분산처리 기술, 분산 시스템 파이프라인, 실시간 처리 시스템 


■ Data Scientist, ML Engineer, Data Engineer 위치

 

반응형

+ Recent posts