book

scikit-learn、Keras、TensorFlowによる実践機械学習第2版

Name: scikit-learn、Keras、TensorFlowによる実践機械学習 第2版
ISBN: 9784873119281

by Aurélien Géron, 下田倫大, 長尾高弘

October 2020

Intermediate to advanced

832 pages

13h 42m

Japanese

O'Reilly Japan, Inc.

Read now

Unlock full access

　大扉
　原書大扉
　クレジット
　監訳者まえがき
　はじめに
第Ⅰ部　機械学習の基礎
　1章　機械学習の現状
　　1.1　機械学習とは何か　　1.2　なぜ機械学習を使うのか　　1.3　応用の例　　1.4　機械学習システムのタイプ　　　1.4.1　教師あり／教師なし学習　　　1.4.2　バッチ学習とオンライン学習　　　1.4.3　インスタンスベース学習とモデルベース学習　　1.5　機械学習が抱える難問　　　1.5.1　訓練データ例の品質の低さ　　　1.5.2　現実を代表しているとは言えない訓練データ　　　1.5.3　品質の低いデータ　　　1.5.4　無関係な特徴量　　　1.5.5　訓練データへの過学習　　　1.5.6　訓練データへの過小適合　　　1.5.7　一歩下がって復習しよう　　1.6　テストと検証　　　1.6.1　ハイパーパラメータの調整とモデルの選択　　　1.6.2　データのミスマッチ　　1.7　演習問題
　2章　エンドツーエンドの機械学習プロジェクト
　　2.1　実際のデータの操作　　2.2　全体像をつかむ　　　2.2.1　問題の枠組みを明らかにする　　　2.2.2　性能指標を選択する　　　2.2.3　前提条件をチェックする　　2.3　データを手に入れる　　　2.3.1　ワークスペースを作る　　　2.3.2　データをダウンロードする　　　2.3.3　データの構造をざっと見てみる　　　2.3.4　テストセットを作る　　2.4　データを研究、可視化して理解を深める　　　2.4.1　地理データの可視化　　　2.4.2　相関を探す　　　2.4.3　属性の組み合わせを試してみる　　2.5　機械学習アルゴリズムが処理しやすいようにデータを準備する　　　2.5.1　データをクリーニングする　　　2.5.2　テキスト／カテゴリ属性の処理　　　2.5.3　カスタム変換器　　　2.5.4　特徴量のスケーリング　　　2.5.5　変換パイプライン　　2.6　モデルを選択して訓練する　　　2.6.1　訓練セットを訓練、評価する　　　2.6.2　交差検証を使ったよりよい評価　　2.7　モデルを微調整する　　　2.7.1　グリッドサーチ　　　2.7.2　ランダムサーチ　　　2.7.3　アンサンブルメソッド　　　2.7.4　最良のモデルと誤差の分析　　　2.7.5　テストセットでシステムを評価する　　2.8　システムを本番稼働、モニタリング、メンテナンスする　　2.9　試してみよう　　2.10　演習問題
　3章　分類
　　3.1　MNIST　　3.2　二項分類器の訓練　　3.3　性能指標　　　3.3.1　交差検証を使った正解率の測定　　　3.3.2　混同行列　　　3.3.3　適合率と再現率　　　3.3.4　適合率と再現率のトレードオフ　　　3.3.5　ROC曲線　　3.4　多クラス分類　　3.5　誤分類の分析　　3.6　多ラベル分類　　3.7　多出力分類　　3.8　演習問題
　4章　モデルの訓練
　　4.1　線形回帰　　　4.1.1　正規方程式　　　4.1.2　計算量　　4.2　勾配降下法　　　4.2.1　バッチ勾配降下法　　　4.2.2　確率的勾配降下法　　　4.2.3　ミニバッチ勾配降下法　　4.3　多項式回帰　　4.4　学習曲線　　4.5　線形モデルの正則化　　　4.5.1　Ridge回帰　　　4.5.2　Lasso回帰　　　4.5.3　Elastic Net　　　4.5.4　早期打ち切り　　4.6　ロジスティック回帰　　　4.6.1　確率の推計　　　4.6.2　訓練と損失関数　　　4.6.3　決定境界　　　4.6.4　ソフトマックス回帰　　4.7　演習問題

　5章　サポートベクトルマシン（SVM）
　　5.1　線形SVM分類器　　　5.1.1　ソフトマージン分類　　5.2　非線形SVM分類器　　　5.2.1　多項式カーネル　　　5.2.2　類似性特徴量の追加　　　5.2.3　ガウスRBFカーネル　　　5.2.4　計算量　　5.3　SVM回帰　　5.4　舞台裏で行われていること　　　5.4.1　決定関数と予測　　　5.4.2　訓練の目標　　　5.4.3　二次計画法　　　5.4.4　双対問題　　　5.4.5　カーネル化されたSVM　　　5.4.6　オンラインSVM　　5.5　演習問題
　6章　決定木
　　6.1　決定木の訓練と可視化　　6.2　決定木による予測　　6.3　クラスの確率の推計　　6.4　CART訓練アルゴリズム　　6.5　計算量　　6.6　ジニ不純度かエントロピーか　　6.7　正則化ハイパーパラメータ　　6.8　回帰　　6.9　不安定性　　6.10　演習問題
　7章　アンサンブル学習とランダムフォレスト
　　7.1　投票分類器　　7.2　バギングとペースティング　　　7.2.1　scikit-learnにおけるバギングとペースティング　　　7.2.2　OOB検証　　7.3　ランダムパッチとランダムサブスペース　　7.4　ランダムフォレスト　　　7.4.1　Extra-Tree　　　7.4.2　特徴量の重要度　　7.5　ブースティング　　　7.5.1　アダブースト（AdaBoost）　　　7.5.2　勾配ブースティング　　7.6　スタッキング　　7.7　演習問題
　8章　次元削減
　　8.1　次元の呪い　　8.2　次元削減のための主要なアプローチ　　　8.2.1　射影　　　8.2.2　多様体学習　　8.3　PCA　　　8.3.1　分散の維持　　　8.3.2　主成分　　　8.3.3　低次のd次元への射影　　　8.3.4　scikit-learnの使い方　　　8.3.5　因子寄与率　　　8.3.6　適切な次数の選択　　　8.3.7　圧縮のためのPCA　　　8.3.8　ランダム化PCA　　　8.3.9　逐次学習型PCA　　8.4　カーネルPCA　　　8.4.1　カーネルの選択とハイパーパラメータの調整　　8.5　LLE　　8.6　その他の次元削減テクニック　　8.7　演習問題
　9章　教師なし学習のテクニック
　　9.1　クラスタリング　　　9.1.1　K平均法　　　9.1.2　K平均法の限界　　　9.1.3　画像セグメンテーションとしてのクラスタリング　　　9.1.4　前処理のためのクラスタリング　　　9.1.5　半教師あり学習の一部としてのクラスタリング　　　9.1.6　DBSCAN　　　9.1.7　その他のクラスタリングアルゴリズム　　9.2　混合ガウスモデル　　　9.2.1　混合ガウスモデルを使った異常検知　　　9.2.2　クラスタ数の選択　　　9.2.3　混合ベイズガウスモデル　　　9.2.4　異常／新規検知のためのその他のアルゴリズム　　9.3　演習問題
第Ⅱ部　ニューラルネットワークと深層学習
　10章　人工ニューラルネットワークとKerasの初歩
　　10.1　生物学的なニューロンから人工ニューロンへ　　　10.1.1　生物学的ニューロン　　　10.1.2　ニューロンによる論理演算　　　10.1.3　パーセプトロン　　　10.1.4　MLPとバックプロパゲーション　　　10.1.5　回帰MLP　　　10.1.6　分類MLP　　10.2　KerasによるMLPの実装　　　10.2.1　TensorFlow 2のインストール　　　10.2.2　シーケンシャルAPIを使った画像分類器の構築　　　10.2.3　シーケンシャルAPIを使った回帰MLPの構築　　　10.2.4　関数型APIを使った複雑なモデルの構築　　　10.2.5　サブクラス化APIを使ったダイナミックなモデルの構築　　　10.2.6　モデルの保存と復元　　　10.2.7　コールバックの使い方　　　10.2.8　TensorBoardを使った可視化　　10.3　ニューラルネットワークのハイパーパラメータの微調整　　　10.3.1　隠れ層の数　　　10.3.2　隠れ層あたりのニューロン数　　　10.3.3　学習率、バッチサイズ、その他のハイパーパラメータ　　10.4　演習問題
　11章　深層ニューラルネットワークの訓練
　　11.1　勾配消失／爆発問題　　　11.1.1　GlorotとHeの初期値　　　11.1.2　飽和しない活性化関数　　　11.1.3　バッチ正規化　　　11.1.4　勾配クリッピング　　11.2　事前学習済みの層の再利用　　　11.2.1　Kerasによる転移学習　　　11.2.2　教師なし事前学習　　　11.2.3　関連タスクの事前学習　　11.3　オプティマイザの高速化　　　11.3.1　モーメンタム最適化　　　11.3.2　NAG　　　11.3.3　AdaGrad　　　11.3.4　RMSProp　　　11.3.5　Adam、Nadam最適化　　　11.3.6　学習率のスケジューリング　　11.4　正則化による過学習の防止　　　11.4.1　l1、l2正則化　　　11.4.2　ドロップアウト　　　11.4.3　モンテカルロ（MC）ドロップアウト　　　11.4.4　重み上限正則化　　11.5　まとめと実践的なガイドライン　　11.6　演習問題
　12章　TensorFlowで作るカスタムモデルとその訓練
　　12.1　TensorFlow弾丸旅行　　12.2　TensorFlowのNumPyのような使い方　　　12.2.1　テンソルとそのオペレーション　　　12.2.2　テンソルとNumPy　　　12.2.3　型変換　　　12.2.4　変数　　　12.2.5　その他のデータ構造　　12.3　モデルと訓練アルゴリズムのカスタマイズ　　　12.3.1　カスタム損失関数　　　12.3.2　カスタムコンポーネントを含むモデルの保存とロード　　　12.3.3　カスタム活性化関数、初期化子、正則化器、制約　　　12.3.4　カスタム指標　　　12.3.5　カスタムレイヤ　　　12.3.6　カスタムモデル　　　12.3.7　損失や指標にモデルの内部状態を反映させる方法　　　12.3.8　自動微分を使った勾配の計算　　　12.3.9　カスタム訓練ループ　　12.4　TensorFlow関数とグラフ　　　12.4.1　自動グラフとトレーシング　　　12.4.2　TF関数のルール　　12.5　演習問題
　13章　TensorFlowによるデータのロードと前処理
　　13.1　データAPI　　　13.1.1　変換の連鎖　　　13.1.2　データのシャッフル　　　13.1.3　データの前処理　　　13.1.4　1つにまとめる　　　13.1.5　プリフェッチ　　　13.1.6　tf.kerasのもとでのデータセットの使い方　　13.2　TFRecord形式　　　13.2.1　TFRecordファイルの圧縮　　　13.2.2　プロトコルバッファ入門　　　13.2.3　TensorFlow Protobuf　　　13.2.4　Exampleのロードとパース　　　13.2.5　SequenceExample protobufを使ったリストのリストの処理　　13.3　入力特徴量の前処理　　　13.3.1　ワンホットベクトルを使ったカテゴリ特徴量のエンコード　　　13.3.2　埋め込みを使ったカテゴリ特徴量のエンコード　　　13.3.3　Kerasの前処理層　　13.4　TF Transform　　13.5　TFDSプロジェクト　　13.6　演習問題
　14章　畳み込みニューラルネットワークを使った深層コンピュータビジョン
　　14.1　視覚野のアーキテクチャ　　14.2　畳み込み層　　　14.2.1　フィルタ　　　14.2.2　複数の特徴量マップの積み上げ　　　14.2.3　TensorFlowとKerasによる実装　　　14.2.4　メモリ要件　　14.3　プーリング層　　　14.3.1　KerasとTensorFlowによる実装　　14.4　CNNのアーキテクチャ　　　14.4.1　LeNet-5　　　14.4.2　AlexNet　　　14.4.3　GoogLeNet　　　14.4.4　VGGNet　　　14.4.5　ResNet　　　14.4.6　Xception　　　14.4.7　SENet　　14.5　Kerasを使ったResNet-34 CNNの実装　　14.6　Kerasで事前学習済みモデルを使う方法　　14.7　事前学習済みモデルを使った転移学習　　14.8　分類と位置特定　　14.9　物体検知　　　14.9.1　全層畳み込みネットワーク　　　14.9.2　YOLO（You Only Look Once）　　14.10　セマンティックセグメンテーション　　14.11　演習問題
　15章　RNNとCNNを使ったシーケンスの処理
　　15.1　再帰ニューロンとレイヤ　　　15.1.1　記憶セル　　　15.1.2　入出力シーケンス　　15.2　RNNの訓練　　15.3　時系列データの予測　　　15.3.1　ベースライン指標　　　15.3.2　単純なRNNの実装　　　15.3.3　深層RNN　　　15.3.4　複数のタイムステップ後の予測　　15.4　長いシーケンスの処理　　　15.4.1　不安定な勾配問題への対処　　　15.4.2　短期記憶問題への対処　　15.5　演習問題
　16章　RNNと注意機構による自然言語処理
　　16.1　文字RNNを使ったシェイクスピア風テキストの生成　　　16.1.1　訓練セットの作り方　　　16.1.2　シーケンシャルデータセットの分割方法　　　16.1.3　シーケンシャルデータセットの複数のウィンドウへの分割　　　16.1.4　文字RNNモデルの構築と訓練　　　16.1.5　文字RNNモデルの使い方　　　16.1.6　シェイクスピア風の偽文書の生成　　　16.1.7　ステートフルRNN　　16.2　感情分析　　　16.2.1　マスキング　　　16.2.2　事前学習済みの埋め込みの再利用　　16.3　ニューラル機械翻訳のためのエンコーダ－デコーダ・ネットワーク　　　16.3.1　双方向RNN　　　16.3.2　ビームサーチ　　16.4　注意機構　　　16.4.1　ビジュアル注意　　　16.4.2　必要なものは注意だけ：Transformerアーキテクチャ　　16.5　言語モデルにおける最近のイノベーション　　16.6　演習問題
　17章　オートエンコーダとGANを使った表現学習と生成型学習
　　17.1　効率のよいデータ表現　　17.2　不完備線形オートエンコーダによるPCA　　17.3　スタックオートエンコーダ　　　17.3.1　Kerasによるスタックオートエンコーダの実装　　　17.3.2　再構築の可視化　　　17.3.3　Fashion MNISTデータセットの可視化　　　17.3.4　スタックオートエンコーダを使った教師なし事前学習　　　17.3.5　重みの均等化　　　17.3.6　オートエンコーダの層ごとの訓練　　17.4　畳み込みオートエンコーダ　　17.5　再帰型オートエンコーダ　　17.6　ノイズを除去するオートエンコーダ　　17.7　スパース・オートエンコーダ　　17.8　変分オートエンコーダ（VAE）　　　17.8.1　Fashion MNIST風の画像の生成　　17.9　GAN　　　17.9.1　GANの訓練の難しさ　　　17.9.2　深層畳み込みGAN　　　17.9.3　PGGAN（Progressive Growing of GANs）　　　17.9.4　StyleGAN　　17.10　演習問題
　18章　強化学習
　　18.1　報酬の最大化の学習　　18.2　方策探索　　18.3　OpenAI Gym入門　　18.4　ニューラルネットワークによる方策　　18.5　行動の評価：信用割当問題　　18.6　方策勾配法　　18.7　マルコフ決定過程　　18.8　TD学習　　18.9　Q学習　　　18.9.1　探索方策　　　18.9.2　近似Q学習と深層Q学習　　18.10　深層DQNの実装　　18.11　深層Q学習のバリアント　　　18.11.1　ターゲットQ値の固定化　　　18.11.2　ダブルDQN　　　18.11.3　優先度付き経験再生　　　18.11.4　Dueling DQN　　18.12　TF-Agentsライブラリ　　　18.12.1　TF-Agentsのインストール　　　18.12.2　TF-Agents環境　　　18.12.3　環境の仕様　　　18.12.4　環境ラッパーとアタリ前処理　　　18.12.5　訓練のアーキテクチャ　　　18.12.6　DQNの作り方　　　18.12.7　DQNエージェントの作り方　　　18.12.8　再生バッファと対応するオブザーバの作り方　　　18.12.9　訓練指標の作り方　　　18.12.10　ドライバの作り方　　　18.12.11　データセットの作り方　　　18.12.12　訓練ループの作り方　　18.13　広く使われているRLアルゴリズム　　18.14　演習問題
　19章　大規模なTensorFlowモデルの訓練とデプロイ
　　19.1　TensorFlowモデルのサーブ　　　19.1.1　TF Servingの使い方　　　19.1.2　GCP AI Platform上での予測サービスの作成　　　19.1.3　予測サービスの使い方　　19.2　モバイル／組み込みデバイスへのモデルのデプロイ　　19.3　GPUを使った計算のスピードアップ　　　19.3.1　自前のGPU　　　19.3.2　GPU装着仮想マシン　　　19.3.3　Colaboratory　　　19.3.4　GPU RAMの管理　　　19.3.5　オペレーション、変数のデバイスへの配置　　　19.3.6　複数のデバイスにまたがる並列実行　　19.4　複数のデバイスによるモデルの訓練　　　19.4.1　モデル並列　　　19.4.2　データ並列　　　19.4.3　Distribution Strategy APIを使った大規模な訓練　　　19.4.4　TensorFlowクラスタによるモデルの訓練　　　19.4.5　Google Cloud AI Platformでの大規模な訓練ジョブの実行　　　19.4.6　AI Platform上でのブラックボックス型のハイパーパラメータ調整サービス　　19.5　演習問題　　19.6　ありがとう！
　付録A　演習問題の解答
　　A.1　1章：機械学習の現状　　A.2　2章：エンドツーエンドの機械学習プロジェクト　　A.3　3章：分類　　A.4　4章：モデルの訓練　　A.5　5章：サポートベクトルマシン（SVM）　　A.6　6章：決定木　　A.7　7章：アンサンブル学習とランダムフォレスト　　A.8　8章：次元削減　　A.9　9章：教師なし学習のテクニック　　A.10　10章：人工ニューラルネットワークとKerasの初歩　　A.11　11章：深層ニューラルネットワークの訓練　　A.12　12章：TensorFlowで作るカスタムモデルとその訓練　　A.13　13章：TensorFlowによるデータのロードと前処理　　A.14　14章：畳み込みニューラルネットワークを使った深層コンピュータビジョン　　A.15　15章：RNNとCNNを使ったシーケンスの処理　　A.16　16章：RNNと注意機構による自然言語処理　　A.17　17章：オートエンコーダとGANを使った表現学習と生成型学習　　A.18　18章：強化学習　　A.19　19章：大規模なTensorFlowモデルの訓練とデプロイ
　付録B　機械学習プロジェクトチェックリスト
　　B.1　問題の枠組みと全体像をつかむ　　B.2　データを手に入れる　　B.3　データを研究する　　B.4　データを準備する　　B.5　有望なモデルを絞り込む　　B.6　システムを微調整する　　B.7　ソリューションをプレゼンテーションする　　B.8　本番稼働！
　付録C　SVM双対問題
　付録D　自動微分
　　D.1　手計算による微分　　D.2　有限差分近似　　D.3　フォワードモード自動微分　　D.4　リバースモード自動微分
　付録E　その他の広く知られているANNアーキテクチャ
　　E.1　ホップフィールドネットワーク　　E.2　ボルツマンマシン　　E.3　制限付きボルツマンマシン　　E.4　DBN　　E.5　自己組織化マップ
　付録F　特殊なデータ型
　　F.1　文字列　　F.2　不調和テンソル　　F.3　疎テンソル　　F.4　テンソル配列　　F.5　集合　　F.6　キュー
　付録G　TensorFlowグラフ
　　G.1　TF関数と具象関数　　G.2　関数定義とグラフの調べ方　　G.3　トレーシングの詳細　　G.4　自動グラフによるダイナミックループ　　G.5　TF関数における変数、その他のリソースの処理　　G.6　tf.kerasのもとでTF関数を使うか否かの指定方法
　著者紹介
　奥付

Content preview from scikit-learn、Keras、TensorFlowによる実践機械学習第2版

●著者紹介

Aurélien Géron（オーレリアン・ジュロン）

機械学習のコンサルタント。もとGooglerで、2013年から2016年にかけてYouTubeビデオ分類チームのリーダーだった。フランスの主要な無線ISPのひとつであるWifirst、通信、メディア、戦略に特化したコンサルティング企業Polyconseil、機械学習とデータプライバシーのコンサルティング企業Kiwisoftの創業者でもあり、CTOを務めた。

それ以前は、金融（JP MorganとSociété Générale）、防衛（カナダDOD）、医療（輸血）などのさまざまな分野でエンジニアを経験している。技術書を数冊出版し（C++、WiFi、インターネットアーキテクチャ）、フランスの技術学校でコンピュータ科学を教えていた。

3人の子どもたちには、指を使った2進法の数え方（1023まで）を教えている。ソフトウェア工学の世界に入る前は、微生物学と進化遺伝学を研究していた。2度目のジャンプではパラシュートが開かなかった。

●監訳者紹介

下田倫大（しもだのりひろ）

元データ分析の会社のエンジニアリングマネージャーで、現在は外資系IT企業のカスタマーエンジニア。『アナリティクス×エンジニアリング』の領域で日々奮闘しており、データ分析や深層学習、機械学習を活用した案件に積極的に携わっている。

●訳者紹介

長尾高弘（ながおたかひろ）

1960年千葉県生まれ。東京大学教育学部卒、株式会社ロングテール（http://www.longtail.co.jp/）社長。訳書に『データサイエンス設計マニュアル』、『RとKerasによるディープラーニング』、『入門Python 3』（以上、オライリー・ジャパン）、『AIは心を持てるのか』、『The ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.

Julian F.

Head of Cybersecurity

I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.

Addison B.

Field Engineer

I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.

Amir M.

Data Platform Tech Lead

I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.

Mark W.

Embedded Software Engineer

Pythonからはじめるアルゴリズムトレード ―自動売買の基礎と機械学習の本格導入に向けたPythonプログラミング

Publisher Resources

ISBN: 9784873119281Other

Cloud Computing

Data Engineering

Data Science

AI & ML

Programming Languages

Software Architecture

IT/Ops

Security

Design

Business

Soft Skills