데이터 엔지니어를 위한 97가지 조언

77 데이터 품질 테스트에 오픈 소스를 사용하여 얻는 3가지 이점

 

톰 베이엔스(Tom Baeyens)

저는 소프트웨어 엔지니어에서 데이터 엔지니어로 전향했기 때문에, 오늘날의 조직에서 데이터가 얼마나 중요한지 증언할 수 있습니다. 단위 테스트를 작성하고 애플리케이션을 모니터링하는 소프트웨어 엔지니어링 원칙을 데이터에 적용해야 한다는 것도 증언할 수 있습니다. 사람들은 데이터 테스트가 필요하다는 것을 알고 있지만, 접근하는 데 필요한 모범 사례나 지식은 부족한 경우가 많습니다. 오픈 소스를 시작하세요. 이번 섹션에서는 오픈 소스 소프트웨어가 데이터 테스트에 제공하는 이점을 3가지 영역, 즉 데이터 엔지니어, 기업 전반, 개발자가 만들고 사용하는 도구로 나누어 탐구해보겠습니다.

오픈 소스 도구는 엔지니어에 의해, 엔지니어를 위해 개발됩니다. 워크플로에 딱 맞는 데이터 테스트 도구로 작업을 시작하려 한다면 오픈 소스로 시작해야 합니다. 오픈 소스 소프트웨어를 데이터 엔지니어링 파이프라인에 쉽게 포함시킬 수도 있습니다. 이를 통해 데이터 엔지니어는 라이선스 제약이나 숨겨진 비용 등의 부담 없이 오픈 소스 도구가 쉽고 빠르게 작동한다고 확신할 수 있습니다.

기업에게 오픈 소스는 데이터 품질 이니셔티브initiative를 시작하는 데 있어 좋은 방법이 ...