Ray 分布式机器学习：利用Ray 进行大模型的数据处理、训练、推理和部署

利用

Ray

进行数据处理

|

137

但

.repeat

支持多次迭代同一数据集（在本例中为

10

次）。

❹

每次重复时随机打乱数据。

❺

我们想让每个

worker

都有自己的本地数据分片，因此将

DatasetPipeline

拆

分为多个较小的数据集，以传递给每个

worker

。

❻

等待所有

worker

完成训练。

为了在

worker

上训练，我们调用

train

方法，并将

DatasetPipeline

的分片

传递给每个节点。然后，我们阻塞等待所有

worker

完成训练。对该阶段进行

总结：

1.

每个回合，每个

worker

获取随机的数据分片。

2.

worker

在分配给它的数据分片上训练本地模型。

3.

一旦

worker

完成当前分片的训练，它会阻塞，直到其他

worker

完成训练。

4.

在剩余的回合中（在本例中共计

10

个回合），重复进行前面三个步骤。

最后，我们在测试数据上测试每个

worker

训练的模型，以确定哪个

alpha

值的

模型最精确：

# Get validation results from each worker.

print(ray.get([worker.test.remote(X_test, Y_test) for worker in workers]))

实际上，对于这种类型的任务，你应该使用

Ray Tune

或

Ray Train

（见第

7

章），

但这个示例表明了

Ray Dataset

在机器学习任务中的强大能力。只需几行

Python

代码，我们就实现了一个复杂的分布式超参数调优和训练工作流，并可以轻松

扩展到数百台机器，并且不限于任何框架或机器学习任务。 ...