LLM 服务和优化实践 (Chinese Edition)

关于作者

Chi Wang是 Salesforce Einstein AI 团队的工程总监，在人工智能和分布式系统领域拥有超过 18 年的经验。他负责领导大规模 AI 平台的开发工作，该平台为数百个内部团队提供模型训练、推理和优化支持，并为数百万 Salesforce 客户提供 AI 能力。

在 Salesforce，Chi 负责管理多个专注于模型推理与优化以及数据科学平台的工程团队。他的工作涵盖构建多租户 AI 基础设施、扩展分布式计算系统，以及提升生产环境中大型语言模型工作负载的性能和成本效益。

Chi是12项专利的主要发明人，涉及领域包括模型服务与优化、数据访问控制以及大规模系统设计。他同时也是一位充满热情的技术作家，致力于让复杂的AI系统对工程师而言既实用又易于理解。

胡培恒是一位经验丰富的机器学习工程师，拥有超过10年的行业经验，在构建大规模AI系统方面造诣深厚。他目前就职于英伟达（NVIDIA），专注于前沿的分布式LLM推理技术，致力于在最新一代英伟达GPU上突破高性能推理引擎的极限。他拥有哈佛大学计算科学与工程理学硕士学位，以及佐治亚理工学院工业工程与运筹学理学学士学位。

此前，胡培恒曾任 Salesforce 首席技术专家，负责领导开发该公司唯一的统一服务平台，该平台管理着数千个租户级模型，并通过针对 Agentforce 的 LLM 优化，为公司节省了数百万美元的 AI 基础设施开支。在此之前，他曾任微软 Azure 高级机器学习架构师，负责设计用于云安全检测与分析的分布式机器学习处理方案，该方案每小时处理数十亿次交易。