実践 AWSデータサイエンス ―エンドツーエンドのMLOpsパイプライン実装

7章最初のモデル訓練

　前章では、Amazon SageMaker Processing Jobを使用して、生のデータセットを「特徴量エンジニアリング」プロセスを通じて機械が扱える特徴量に変換しました。本章では、これらの特徴量を使用して、TensorFlow、PyTorch、BERT（https://arxiv.org/abs/1810.04805）、およびSageMakerを使用してカスタムレビュー分類器を訓練し、ソーシャルチャネルやパートナーのウェブサイトなどからの「自然のまま」のレビューを分類します。さらに、Javaを使ってBERTモデルを訓練する方法も紹介します。

　途中で、Transformerアーキテクチャ、BERT、事前学習モデルのファインチューニングなどの重要なコンセプトについても説明します。また、組み込みアルゴリズムや「持ち込み（bring-your-own）」オプションなど、SageMakerで提供されているさまざまな訓練オプションについても説明しています。次に、コンテナ、ネットワーク、およびセキュリティを含むSageMakerのインフラストラクチャについて説明します。その後、SageMakerを使ってモデルの訓練、評価、プロファイリングを行います。プロファイリングは、モデルのデバッグ、訓練時間の短縮、コストの削減に役立ちます。最後に、SageMakerでモデルを開発する際に、コストを削減し、パフォーマンスを向上させるためのヒントを紹介します。

7.1　SageMakerインフラストラクチャの理解

　SageMakerは主にコンテナベースでインフラストラクチャを管理し、私たちが特定の機械学習タスクに集中できるようにしてくれます。自身で構築する必要なく、自然言語処理（NLP）、分類、回帰、コンピュータビジョン、強化学習などのユースケースをカバーする数多くの組み込みアルゴリズムを直接利用することができます。これらの組み込みアルゴリズムに加えて、SageMakerは、TensorFlow、PyTorch、Apache ...