압축이 풀린 파일이 디스크에 저장되지 않도록 파이프의 시작 부분에 압축 코드를 추가하여 데
이터 압축을 푼다. 예를 들어 초파리 게놈을
gzip
으로 압축하면 전체 크기의
1
/
3
만큼만 디스
크에 저장된다. 또한 압축을 푸는 것도 스트리밍할 수 있다.
파이썬 표준 라이브러리인
gzip
패키지는 .
gz
파일을 일반 파일처럼 열 수 있다.
이번 장에서는
Toolz
라이브러리처럼 몇 가지 추상화를 사용하면 파이썬으로 스트리밍하는
것이 쉬울 수도 있다는 메시지를 전달했다.
빅데이터는 작은 데이터보다 선형적으로 처리 시간이 오래 걸리기 때문에 스트리밍을 사
용하면 생산성을 높일 수 있다. 배치 분석에서는 운영체제가 램에서 하드디스크로 데이터
를 계속 전송해야 하기 때문에 빅데이터 처리에 시간이 오래 걸릴 수 있다. 또는 파이썬에서
MemoryError
를 표시할 수 있다. 많은 분석 작업에서 빅데이터를 분석하는 데 더 좋은 컴퓨
터가 필요하지 않다. 또한 테스트에서 작은 데이터를 전달하면 빅데이터도 전달하게 된다.
이 장에서 전달하고 싶은 메시지는 알고리즘 또는 분석 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.