
问题表示设计模式
|
115
霉⠮
图
3
-
17
:将模型的级联作为单一任务来训练的管道
Kubeflow Pipelines
提供了这样一个框架。因为它适用于容器,它所包含的机器学
习模型和粘合代码几乎可以用任何编程语言或脚本语言编写。这里,我们将使用
BigQuery
客户端库将上面的
BigQuery SQL
模型封装为
Python
函数。我们可以用
Tensorflow
或者
scikit-learn
甚至
R
来实现单个组件。
使用
Kubeflow Pipelines
的管道代码可以非常简单地表示为如下形式(完整的代码可
以在本书的代码存储库中找到,
https://github.com/GoogleCloudPlatform/ml-design-
patterns/blob/master/03_problem_representation/cascade.ipynb
):
@dsl.pipeline(
name='Cascade pipeline on SF bikeshare',
description='Cascade pipeline on SF bikeshare'
)
def cascade_pipeline(
project_id = PROJECT_ID
):
ddlop = comp.func_to_container_op(run_bigquery_ddl,
packages_to_install=['google-cloud-bigquery']) ...