実践 AWSデータサイエンス ―エンドツーエンドのMLOpsパイプライン実装

8章大規模なモデルの訓練と最適化

　Jeff Bezosが好きな経営戦略家のPeter Druckerは、かつて「測定できなければ、改善できない。（If you can't measure it, you can't improve it.）」という言葉を残しています。この言葉は、予測モデルの測定、最適化、改善に焦点を当てた本章のエッセンスを表しています。

　前章では、Amazon SageMakerを使用して、1つのハイパーパラメータのセットで1つのモデルを訓練しました。また、ソーシャルチャネルやパートナーのウェブサイトなどから得られた生の商品レビューのセンチメントを予測するレビューテキスト分類モデルを構築するために、事前学習済みBERTモデルをファインチューニングする方法を示しました。

　本章では、SageMaker Experimentsを使用して、大規模なモデルの測定、追跡、比較、および改善を行います。また、SageMaker Hyper-Parameter Tuningを使用して、特定のアルゴリズムとデータセットに最適なハイパーパラメータを選択します。また、さまざまな通信戦略や分散ファイルシステムを使用した分散トレーニングの実行方法も紹介します。最後に、SageMaker Autopilotのハイパーパラメータ選択アルゴリズム、SageMakerのAmazon S3への最適化されたパイプ、AWSの拡張ネットワークハードウェアを使用して、コストを削減し、パフォーマンスを向上させる方法について説明します。

8.1　最適なモデルハイパーパラメータを自動的に見つける

　モデル訓練の実行を追跡・比較する方法を理解したところで、ハイパーパラメータチューニング（HPT）またはハイパーパラメータ最適化（HPO）と呼ばれるスケーラブルなプロセスを使用して、データセットとアルゴリズムに最適なハイパーパラメータを自動的に見つけることができます。SageMakerはHPTジョブをネイティブにサポートしています。これらのチューニングジョブは、 ...