エレガントなSciPy ―Pythonによる科学技術計算

208

8 章　Toolz を使って小さなノートパソコンでビッグデータを処理する方法

C--A

と

G--C

の遷移が、ゲノムの中の反復と非反復部分で異なることに注目してください。この

情報は、これまでに見たことのない

DNA

シーケンスの分類に使えます。

8.6.1

　演習：オンラインで実行する

unzip

パイプの最初の部分に

1

段階追加して、圧縮を解凍したデータをハードドライブに置かずに済

むようにしましょう。例えば

Drosophila

のゲノムの場合、

gzip

で圧縮してあれば、ディスクに占

める容量は

3

分の

1

以下になります。さらに、

unzip

もストリーミングで実行できるのです。

gzip

パッケージは、Python の標準ライブラリの一部で、これを使うと

.gz

形式のファイルを通常

のファイルのように開けます。

本章では、

Python

を使ったストリーミングは、

Toolz

に用意されているような抽象化技法を組

み合わせれば、簡単にできることを示唆しました。

ストリーミング処理をすると、生産性が上がります。なぜなら、ビッグデータはその大きさに比

例して小さなデータより処理に時間がかかるからです。ビッグデータをバッチで処理すれば、

OS

が

RAM

とハードディスクの間でデータを往復させ続けるため、実行に膨大な時間がかかります。

場合によっては、

Python

が処理をはなから拒否して

MemoryError

を出すかもしれません。結論と

して、通常は、大きなデータセットの解析に大きなマシンは必要ないということです。さらに、解

析が小さなデータでうまくいけば、ビッグデータでもうまくいくということです。 ...