데이터 엔지니어를 위한 97가지 조언

71 데이터 입출력에 숨어 있는 비용

 

로힛 비자야레누(Lohit VijayaRenu)

데이터 엔지니어는 데이터를 읽고 쓸 때 라이브러리 및 도우미 함수를 사용할 수 있지만, 읽기 및 쓰기 작업의 세부 사항을 알고 있으면 애플리케이션을 최적화하는 데 도움이 됩니다. 주로 입출력과 연관된 다양한 옵션을 이해하고 구축할 수 있다면 데이터 집약적인 애플리케이션, 특히 대규모 애플리케이션을 다룰 때 유용합니다. 다음은 데이터 입출력과 연관된 숨겨진 세부 사항 몇 가지입니다.

 

 

¦ 데이터 압축 ¦

데이터를 압축하면 디스크 공간이 절약되고 네트워크 전송 비용이 줄어든다는 사실은 널리 알려져 있지만, 어떤 압축 알고리즘을 사용할지 선택할 때는 수많은 후보를 마주하게 됩니다. 압축 알고리즘을 고를 때는 항상 압축 속도 대 압축 비율을 고려해야 합니다. 압축 해제의 경우에도 마찬가지입니다. 예를 들어 이미 데이터의 양이 많다면 압축 해제가 빠른 알고리즘을 선택하고, 그 대신 더 많은 리소스를 사용하는 것을 감수하는 편이 효과적입니다.

 

 

¦ 데이터 형식 ¦

대부분의 비정형 데이터는 레코드의 집합이지만, 사용하는 방식에 따라 이러한 형식이 적합하지 않을 수 있습니다. 중첩 필드가 여러 개 있으면서 그중 몇 개만을 주로 사용한다면 저장하기에 가장 좋은 ...