데이터 엔지니어를 위한 97가지 조언

52 소프트웨어 엔지니어링에서 데이터 엔지니어링으로 전환하기

 

존 살리나스(John Salinas)

소프트웨어 엔지니어링에서 데이터 엔지니어링으로 전환하는 일은 보람 있고 흥미롭습니다. 데이터 엔지니어링에서 중요한 점은 소프트웨어 엔지니어링과 같습니다. 바로 기술적인 문제를 효율적이면서 우아하게 해결하려는 열정과 원칙입니다. 또한 분석 및 데이터 문제까지 포함하도록 기술을 확장해야 합니다. 여기에는 훨씬 더 큰 규모에서 문제를 해결하고, 해결하려는 문제에서 다른 사람들이 통찰을 얻도록 돕는 것도 포함됩니다.

제가 데이터 엔지니어링에 처음 입문했을 때는 배울 것이 너무 많아 길을 잃은 듯한 느낌을 받았습니다. 저도 여러분처럼 배움을 즐기는 사람이었기에 새로운 기술과 패턴을 도전하듯 배우는 데 열광했습니다. 그러나 데이터 엔지니어링에서도 추상화를 이용하거나, 단순함을 추구하거나, 확장 및 유지 보수가 쉽도록 애플리케이션을 구축해야 하는 등 소프트웨어 엔지니어링과 동일한 원칙이 적용된다는 점을 깨닫자 마음이 놓였습니다. 소프트웨어 엔지니어링 경험을 활용할 수 있었으며 문제 해결이나 기업용 애플리케이션 확장, API 개발, 네트워킹, 프로그래밍, 스크립팅 등의 기술도 활용 가능했고 심지어는 중요했습니다.

데이터 엔지니어링을 사용하면 소프트웨어 엔지니어링과 ...