Ray 分布式机器学习：利用Ray 进行大模型的数据处理、训练、推理和部署

90

|

第

4

章

量”评估。特别地，如果模型评估需要很长时间，这样分组环境可以加

速

训练。

❸

当

num_rollout_workers > 0

时，驱动程序（本地

worker

）不需要环境。

这是因为

rollout worker

负责采样和评估。如果你仍然希望驱动程序中有环

境，可以将该选项设置为

True

。

4.3.3

配置环境

代码如下：

from ray.rllib.algorithms.dqn import DQNConfig

config = DQNConfig().environment(

env="CartPole-v1",

env_config={"my_config": "value"},

observation_space=None,

action_space=None,

render_env=True,

)

❶

指定用于训练的环境。这可以是已知的

Ray RLlib

环境的字符串（如任意

Gym

环境），也可以是自己实现的自定义环境的类名

注

15

。

1

❷

为环境指定一组可选的配置选项字典，这些选项将传递给环境构造函数。

❸

可以指定环境的观测空间和动作空间。如果不指定，则会从环境中推理观

测空间和动作空间。

❹

默认情况下为

False

，该属性负责打开环境的渲染，前提是需要实现环境

的

render

方法。

注意，这里省略了每种类型的多个配置选项。除此之外，我们没有涉及修改强

化学习的训练过程（例如修改使用的底层模型）。感兴趣的读者可参考

RLlib

Training API

文档（

https://or