入門 PySpark ―PythonとJupyterで活用するSpark 2エコシステム

4.1

 重複、計測値の欠落、外れ値のチェック

59

こうすることで、さまざまな関数が大量に使えるようになります。ここではそれらをすべて

紹介することはできませんが、

PySpark

のドキュメンテーションの

http://spark.apache.org/

docs/2.0.0/api/python/pyspark.sql.html#module-pyspark.sql.functions

を調べてみること

を強くお勧めします。

次に

.count(...)

と

.countDistinct(...)

を使います。これらはそれぞれ、DataFrame 中の行

数とユニークな

id

の数を計算しています。

.alias(...)

メソッドを使えば、返される列の名前を指定

してわかりやすいものにできます。

結果を見ればわかるとおり、合計の行数は 5で す が 、ユ ニークな IDは4 つしかありません。すでに重

複した行はすべて削除してあるので、これは IDにたまたま問題が生じているだけと考えて、各行にユ

ニークな IDを振り直しても良いでしょう。

df.withColumn('new_id', fn.monotonically_increasing_id()).show()

このコードの出力は次のようになります。

.monotonicallymonotonically_increasing_id()

メソッドを使うと、各レコードに単調増

加するユニークなIDを振っていくことができます。ドキュメンテーションによれば、およそ10 億パー ...