Ray 分布式机器学习：利用Ray 进行大模型的数据处理、训练、推理和部署

利用

Ray Serve

进行在线推理

|

179

self._summarizer = pipeline("summarization")

self._max_length = max_length

def __call__(self, input_text: str) -> str:

result = self._summarizer(

input_text, max_length=self._max_length, truncation=True)

return result[0]["summary_text"]

管道中的最后一个模型是命名实体识别模型，它从文本中提取命名实体。每个

结果都有一个置信度分数，因此我们可以设置一个阈值，只接收高于某个阈值

的结果。我们还可以限制返回的实体总数。部署模块的请求处理程序会调用该

模型，然后使用一些基本的业务逻辑强制执行提供的置信度阈值并限制实体的

数量：

@serve.deployment

class EntityRecognition:

def __init__(self, threshold: float = 0.90, max_entities: int = 10):

self._entity_recognition = pipeline("ner")

self._threshold = threshold

self._max_entities = max_entities

def __call__(self, input_text: str) ...