Skip to Content
入門 機械学習パイプライン ―TensorFlowで学ぶワークフローの自動化
book

入門 機械学習パイプライン ―TensorFlowで学ぶワークフローの自動化

by Hannes Hapke, Catherine Nelson, 中山 光樹
September 2021
Intermediate to advanced
392 pages
6h 8m
Japanese
O'Reilly Japan, Inc.
Content preview from 入門 機械学習パイプライン ―TensorFlowで学ぶワークフローの自動化

付録CKubeflow Pipelinesを運用するためのTips

Kubeflow Pipelinesを用いてTFXパイプラインを運用する場合、TFXコンポーネントのもとになるコンテナイメージをカスタマイズしたいことがあります。カスタムTFXイメージは、コンポーネントがTensorFlowやTFXパッケージ以外のパッケージに依存している場合に必要となります。デモのパイプラインでは、言語モデルを利用するために、TensorFlow Hubを追加しています。

この付録の後半では、ローカルコンピュータと永続ボリュームとの間でデータを転送する方法を紹介します。永続ボリュームのセットアップは、クラウドストレージを介してデータにアクセスできる場合(オンプレミスのKubernetesクラスタを使用している場合など)に有益です。紹介する手順では、クラスタへのデータのコピーとクラスタからのデータのコピーの手順を説明します。

C.1 カスタムTFXイメージ

サンプルプロジェクトでは、TensorFlow Hubが提供する言語モデルを利用します。言語モデルを効率的に読み込むために tensorflow_hub パッケージを使用します。このパッケージはオリジナルのTFXイメージには組み込まれていないので、TensorFlow Hubを組み込んだカスタムTFXイメージを構築する必要があります。これは、「10章 TFXの高度な機能」で説明したようなカスタムコンポーネントを使用する場合にも当てはまります。

幸いなことに、「付録A 機械学習のためのインフラ入門」で説明したように、Dockerイメージの構築は、それほど面倒ではありません。次のDockerfileにカスタムイメージの構成を示します。

FROM ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

AirBnbBlueOriginElectronic ArtsHomeDepotNasdaqRakutenTata Consultancy Services

QuotationMarkO’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
QuotationMarkI wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
QuotationMarkI’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
QuotationMarkI'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
Mark W.
Embedded Software Engineer

You might also like

機械学習システムデザイン ―実運用レベルのアプリケーションを実現する継続的反復プロセス

機械学習システムデザイン ―実運用レベルのアプリケーションを実現する継続的反復プロセス

Chip Huyen, 江川 崇, 平山 順一

Publisher Resources

ISBN: 9784873119519Other