混沌工程

第12章 实验选择问题（及解决方案 实验选择问题（及解决方案）

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

彼得-阿尔瓦罗

很难想象现实世界中的大型系统不涉及人与机器的交互。当我们设计这样一个系统时，最困难（也是最重要）的部分往往是如何最好地利用这两种不同的资源。在本章中，我将提出抗灾社区应重新思考如何将人类和计算机作为资源加以利用。具体来说，我认为，利用可观测性基础设施开发有关系统故障模式的直觉，并最终以混沌实验的形式释放这些直觉，是计算机比人类更适合扮演的角色。最后，我将提供一些证据，证明社会各界已准备好朝这个方向迈进。

选择实验

与本书其余部分所讨论的方法论独立 （并与之互补）的是实验选择问题：选择向哪些系统执行注入哪些故障。正如我们所看到的，选择正确的实验意味着可以比用户更早地发现错误，也意味着可以大规模地学习分布式系统行为的新知识。不幸的是，由于此类系统固有的复杂性，我们可能运行的不同实验的数量是天文数字--与通信实例的数量成指数关系。例如，假设我们想详尽测试一个涉及 20 个不同服务的应用程序中每种可能的节点崩溃组合的影响。即使是这个规模不大的分布式系统，也有²²⁰种--^超过100 万种--可能仅仅受到节点崩溃的影响！

"那不是错误！"

你会注意到，在本节中，我一直假设寻找 "bug "是混沌实验的主要目标。虽然我是在非正式的意义上使用 "bug "这个词，但它有两种同样有效的解释，一种是狭义的，一种是广义的：

• 分布式系统中一些最有害的错误是容错逻辑中的细微错误（例如，与复制、重试、回退、恢复等相关的错误），这些错误往往只有在集成测试中发生实际故障（例如，机器崩溃）时才会暴露出来，因此它们可能在代码中潜伏很长时间，一旦在生产中暴露出来，就会造成灾难性的问题。我自己的研究主要集中在这类 "故障时间 "错误上。¹

• 正如我在本节后面所详细描述的，只有进行混沌实验才有意义，在实验中注入的故障根据假设应该是系统可以容忍的。如果混沌实验导致了意想不到的结果（如用户可见的异常、数据丢失、系统不可用等），那么显然这个假设是不正确的--我们在某个地方犯了错误！这种错误可能是如前所述的故障时间错误，但也可能是配置错误、过于保守的安全策略或防火墙规则，或者是对基础设施运行方式的架构层面误解。更常见的情况是，问题是这些逻辑错误的组合。有原则的混沌实验也有助于识别这些 "逻辑错误"。

在阅读本节时，你可以根据自己的喜好来选择。

在这个巨大的组合空间中，我们该如何选择需要花费时间和资源的实验呢？穷尽式搜索是不可行的--即使是一个规模不大的分布式系统，在我们完成所有可能的实验之前，太阳就已经熄灭了。目前的技术水平提供了两个合理的答案，尽管并不令人满意，我们在本书中已经考虑过这两个答案。

随机搜索

早期的 混沌方法（例如，该学科借用其名称的猴子）随机搜索故障空间（见图 12-1）。随机方法有很多优点。首先，它易于实现：一旦我们列举了故障空间（例如，实例崩溃的所有可能组合，使用混沌猴子开始时使用的简单示例），我们就可以简单地从中均匀随机抽样选择实验。随机方法的运行也不需要任何领域知识：它在任何分布式系统上的表现都一样好。

图 12-1. 圆圈表示混沌基础设施可能注入的故障空间。在随机实验选择中，单个故障注入实验（箭头）有时会识别出软件错误（星形），在这些错误中，系统本应能容忍的故障却不能容忍。 ...