데이터 엔지니어를 위한 97가지 조언

79 두 부류의 데이터 엔지니어링과 데이터 엔지니어

 

제시 앤더슨(Jesse Anderson)

데이터 엔지니어링에는 2가지 유형이 있습니다. 그리고 데이터 엔지니어라는 직함에도 2가지 유형이 있습니다. 데이터 엔지니어링에 대해 새롭게 알아보는 동안, 조직과 개인은 종종 혼란을 겪습니다. 이런 혼란 때문에 여러 팀의 빅데이터 프로젝트가 실패하곤 합니다.

 

 

¦ 데이터 엔지니어링의 유형 ¦

데이터 엔지니어링의 첫 번째 유형은 SQL 중심 엔지니어링입니다. 주로 관계형 데이터베이스에서 데이터 작업을 수행하고 저장합니다. 모든 데이터 처리는 SQL이나 SQL 기반 언어로 수행됩니다. 때로는 ETL 도구로 데이터 처리를 수행할 때도 있습니다.

두 번째 유형은 빅데이터 중심 엔지니어링입니다. 데이터 작업을 수행하고 주로 저장하는 곳은 아파치 하둡이나 아파치 카산드라Apache Cassandra, 아파치 HBase 등의 빅데이터 기술입니다. 데이터 처리는 모두 맵리듀스MapReduce, 스파크, 아파치 플링크 등의 빅데이터 프레임워크에서 수행됩니다. SQL이 사용되는 동안 처리는 주로 자바, 스칼라Scala, 파이썬 등의 프로그래밍 언어로 이루어집니다.

 

 

¦ 데이터 엔지니어의 유형 ¦

데이터 엔지니어의 유형은 데이터 엔지니어링의 유형과 거의 비슷합니다. ...