データサイエンス講義

3章アルゴリズム

前の章ではデータサイエンスにおけるモデルの使い方を一般的に議論しました。この章ではアルゴリズムの中身について深堀りしていきます。

アルゴリズムとはタスクを達成するための手続きや手順またはルールの集合です。アルゴリズムは計算機科学を構成する基礎的な概念であり、エレガントで効率的なコードの設計、データの準備や処理、ソフトウェア工学の基礎となっています。

アルゴリズムで解決できる基礎的なタスクとして、ソート、検索、グラフベースの計算問題などが挙げられます。オブジェクトリストのソートといったように何かしらタスクが設定されると、それを解決するアルゴリズムは複数存在します。その中に効率性や計算時間の観点から「ベスト」と呼べるものが存在します。ビッグデータの扱いや消費者向け製品の作成には、特にベストを意識することが重要です。

順次実行または並列実行できる効率的なアルゴリズムは、データの処理と準備を行うパイプラインの基礎となっています。データサイエンスに関しては、知っておくべきアルゴリズムのカテゴリが少なくとも3つあります。

1. ソート、MapReduce、Pregelなどといった、データを変更、準備、処理するためのアルゴリズム。このタイプのアルゴリズムはデータエンジニアリングと捉えることができるでしょう。データエンジニアリングについては他の章で触れていますが、この本で重視している点ではありません。データサイエンスを行う上で、データを変更、処理することがないと言っているわけではありません。単にこの本ではアルゴリズム的側面を重視していないだけです。
2. 確率的勾配降下法、ニュートン法、最小二乗法などといった、パラメータを推定する最適化アルゴリズム。このタイプのアルゴリズムはこの本全体を通して出てきます。また多くのR関数はこれらを利用しています。 ...