데이터 엔지니어를 위한 97가지 조언

86 가지각색의 데이터 도메인에서 문제를 해결하는 방법

 

매튜 실(Matthew Seal)

일반적으로 기술 조직은 동시에 동작해야 하는 데이터 연관 작업에서 사용할 병렬 트랙을 개발합니다. 따라서 기술 조직에는 데이터 엔지니어링, 머신 러닝, 데이터 인프라를 포함하는 여러 팀이 혼합되어 있는 경우가 종종 있습니다. 그러나 이런 그룹은 서로 다른 설계 방식을 사용하므로 상대방이 내리는 결정이나 트레이드오프를 이해하는 데 어려움을 겪습니다. 성공적인 데이터 중심 기업이 되려면 여러 팀이 상대방의 결정에 관한 이유와 함께 받는 압력에 대해 서로 공감하고 이해해야 합니다.

특히 앞서 언급한 세 그룹 사이에서 몇 가지의 사고 방식이 많은 초기의 가정을 결정하며, 결정의 이유를 알면 이를 지지하거나 반대하는 데 도움이 된다는 사실을 발견했습니다. 이를테면 데이터 과학과 머신 러닝 팀은 종종 문제를 해결하기 위해 개발하는 도구에 복잡성을 도입합니다. 대부분의 경우 더욱 정확하고 정밀하며 구체적인 답을 얻기 위해 기존 프로세스에 데이터를 추가하거나 복잡하게 변경하는 작업을 해야 합니다. 따라서 이들에게는 프로세스를 복잡하게 만드는 것이 가치를 높이는 합리적 절충안이 되곤 합니다. 또한, 데이터 과학자는 최종 결과를 얻기 위해 탐색 모드에 있는 경향이 있습니다. ...