Pythonデータサイエンスハンドブック ―Jupyter、NumPy、pandas、Matplotlib、scikit-learnを使ったデータ分析、機械学習

210

3

章 

pandas

を使ったデータ操作

3.13

 ハイパフォーマンス

pandas

：

eval()

と

query()

これまでに説明したように、

PyData

が強力であるのは、

NumPy

のベクトル化

/

ブロードキャス

ト操作および

pandas

のグループ化などの直感的な構文による基本操作を、

C

言語で書かれたコー

ドで実行する能力を基盤にしています。こうした抽象化は多くの一般的ユースケースで効率的かつ

効果的ですが、しばしば一時的な中間オブジェクトを生成し、計算時間とメモリ使用に過大なオー

バーヘッドを引き起こす可能性があります。

（

2014

年

1

月リリースにリリースされた）

pandas

バージョン

0.13

から、コストのかかる中間配列

の割り当てを行わずに

C

言語コードの実行速度で直接操作するための実験的機能、

Numexpr

ライ

ブラリ（

https://github.com/pydata/numexpr

）の

eval()

関数と

query()

関数を提供しています。こ

こ

では、どのように使うのか、使うための考え方について見てみましょう。

3.13.1

 

query()

と

eval()

の必要性：複合表現

既に見てきたように、

NumPy

と

pandas

は高速なベクトル化操作をサポートしています。例えば、

2

つの配列で、要素ごとの加算は次のように実行します。

In[1]: import numpy as np

rng = np.random.RandomState(42)

x = rng.rand(1000000)

y = rng.rand(1000000) ...