选择规格
实例的规格是一个带名字的选择。dcctl 每次都把这个名字展开成同一组设置,因此在一个集群上测得的数据可以在另一个集群上复现,而不必再靠一串覆盖条目和 TF_VAR_ 导出去重建。
规格是预设,而不是旋钮。它组合已有的设置,从不改变运行哪些服务(那仍由配置档决定),也从不开启某种行为:事件信封和 MQTT 故障关闭确认保持你设定的状态。它与 --ha 相互独立:--ha 决定运行几份副本,规格决定每份副本多大。
| 规格 | 适用场景 | 状态 |
|---|---|---|
base | 笔记本或小型集群。默认值:未指定规格的实例就是 base,渲染结果与规格出现之前完全相同。 | 标准规格,见服务规格。 |
compact | 资源很少的笔记本。这是集群级设置,在安装时选择;--compact 与之等价且会保留。 | 见 --compact。 |
perf-12k | 一个不带 --ha 的集群,平台节点池约 40 个 vCPU,在开启事件信封的情况下持续每秒 12,000 个事件。 | 已实测:在 GKE 上稳定处理每秒 12,000 个事件(确认延迟 p99 低于 4 毫秒),所有事件均有对账。少数取值根据该次运行修正,尚未按此取值实际运行;见下文。 |
perf-16k | 同一形态,用于持续每秒 16,000 个事件:更大的 Broker、预写日志额度和 event-processing Pod。每秒 20,000 个事件是仅就吞吐而言的上限,不是目标。 | 由同一次 GKE 运行推导:该次运行精确处理了每秒 16,000 个事件;这里的规格以 50 毫秒确认延迟为目标,而该次运行仅略微未达标(perf-12k 规格下为 63 毫秒)。尚未按此取值实际运行;见下文。 |
规格以它在延迟目标之内能够稳定处理的速率命名。名字就是承诺,因此规格绝不会以“目标”的形式发布。这就是没有 perf-20k 的原因:实测的形态精确存储了每秒 20,000 个事件,没有丢失也没有重复,但确认延迟的第 99 百分位为 245 毫秒,所以 20,000 只作为 perf-16k 的吞吐上限记录在文档中,而不是一个规格。
如何选择
dcctl install <provider> --kube-context <context>
dcctl bootstrap <provider> <instance> --size perf-12k
dcctl install 上的 --size compact 等同于 --compact。perf 规格按实例选择,在 dcctl bootstrap 上指定。紧凑集群会拒绝 perf 规格。
规格会记录在实例上,dcctl upgrade 每次都会重新应用它,因此升级绝不会改变实例的规格。某个版本如果调整了某个规格,用该规格记录的实例会在下一次升级时随之改变,该版本的升级说明会写明这一点。
perf-12k 设置了什么
每一行对应一个 Pod。--ha 决定 event-management 的副本数(两个)以及 Broker 服务器和数据库实例的数量(各三个);下面其他服务的副本数保持不变,每份副本的大小也保持不变。
| 服务 | 副本数 | CPU 上限 | 内存上限 | CPU 请求 |
|---|---|---|---|---|
device-management | 2 | 3 | - | 400m |
device-state | 2 | 3 | 512Mi | 250m |
event-management | - | 4 | 1Gi | 400m |
event-processing | - | 2 | 1Gi | 500m |
event-sources | 3 | 3 | 256Mi | 600m |
短横线表示该规格未作设定,沿用 Chart 自身的值。device-management 保留其内存下限而不设自己的上限,因为由规格写入的上限会绕过该下限。除非 --ha 另有决定,event-management 保持一个副本。
Broker、卷以及事件存储预写日志的额度:
| 设置 | 值 |
|---|---|
streamDesignRate | 12000 |
nats_cpu_request | 4 |
nats_memory_request | 4Gi |
nats_memory_limit | 8Gi |
nats_jetstream_storage | 28Gi |
timescale_storage | 160Gi |
timescale_max_wal_size_mib | 20480 |
postgres_max_wal_size_mib | 4096 |
JetStream 卷的大小按设计速率的预留量能装下来确定;升级绝不会调整实例已有的卷,因此把规格应用到现有实例时,会保留它创建时的卷。
最后一行属于集群的关系型存储,而不是实例。bootstrap 不会传递它:请在运行 dcctl install 时声明,并同时声明一个留有余量的卷,例如 TF_VAR_postgres_max_wal_size_mib=4096 和 TF_VAR_postgres_storage=16Gi。它通过集群定义到达数据库(数据库 Operator 不允许 ALTER SYSTEM),不会改变运行中的 Pod;由于日志与数据共用一个卷,如果取值超过 postgres_storage 的四分之一,计划会被拒绝。默认值 0 沿用 PostgreSQL 自带的 1GB,在这个速率下,每一两分钟就会因日志量而触发一次检查点。 dcctl 不会记录 postgres_max_wal_size_mib:之后重新运行 dcctl install 而不带该变量,会把它恢复为 PostgreSQL 的 1GB。这只是重新加载级别的变化,不会使任何数据面临风险,但请在每次 install 运行时都声明该变量(例如写在 terraform.tfvars 中)。
实测与推导
配置形态(上面的副本数和 CPU 上限,以及每秒 12,000 个事件)是在 GKE 上以 40 个 vCPU 的平台节点池实测的;该集群 48 个 vCPU 中的其余部分是压测发生器。之后在同一形态上的一次运行稳定处理了每秒 12,000 个事件,所有事件均有对账,确认延迟 p99 为 3.7 毫秒,没有重启,也没有因日志量而请求检查点。同一次运行还给出了三个尚未按此取值实际运行的取值:device-management 的 400m 请求、event-sources 的 256Mi 内存上限(常驻内存最多 81 MiB),以及关系型存储的 4096 MiB 额度。若后续测试调整了它们,升级说明会写明。
事件库卷能撑多久
在事件库中,一个已存储的事件约占 756 字节,包含索引、未压缩(事件表 345 字节,测量值表 454 字节)。在饱和的每秒 12,000 个事件下,这相当于每小时 32.7 GB,因此 160Gi 的卷在扣除日志额度和工作余量之后,大约能容纳三个半小时的持续写入。perf-16k 设置 260Gi,在每秒 16,000 个事件(每小时 43.6 GB)下大约能撑四个小时。这些是突发和基准测试用的卷,不是留存用的卷。早于 lifecycle.compressAfterDays(默认 7)的数据块会被压缩,因此持续使用时请设置数据生命周期并据此确定卷的大小:见事件库的容量规划。当卷即将写满时,DatabaseVolumeFillsWithinDay 告警会触发。
perf-16k 设置了什么
perf-16k 是 perf-12k 的形态,并调高了从每秒 12,000 到 20,000 的爬坡测试中显示为瓶颈的参数。各服务的副本数和 CPU 上限不变;请求则随每个 Pod 的实测用量上调。
| 服务 | 副本数 | CPU 上限 | 内存上限 | CPU 请求 |
|---|---|---|---|---|
device-management | 2 | 3 | - | 500m |
device-state | 2 | 3 | 512Mi | 300m |
event-management | - | 4 | 1Gi | 450m |
event-processing | - | 2 | 1536Mi | 700m |
event-sources | 3 | 3 | 256Mi | 750m |
event-processing 设为 2 CPU 和 1536Mi:1 个 CPU 在每秒 16,000 个事件起就被限流,而 1.5Gi 配 2 CPU 是唯一在 20,000 时检测延迟仍低于水位线的配置。
Broker、卷以及预写日志的额度:
| 设置 | 值 |
|---|---|
streamDesignRate | 16000 |
nats_cpu_request | 6 |
nats_memory_request | 6Gi |
nats_memory_limit | 10Gi |
nats_jetstream_storage | 36Gi |
timescale_storage | 260Gi |
timescale_max_wal_size_mib | 40960 |
postgres_max_wal_size_mib | 8192 |
流的设计速率为 16000,JetStream 卷为 36Gi:按该速率应对 15 分钟中断所需的预留量(约 17.5 GiB,开启故障关闭确认时为 30 GiB)必须能装得下。Broker 请求 6 个 CPU,因为它在每秒 16,000 个事件时用了 4.25 个核,在 20,000 时用了 5.2 个核,超过 perf-12k 请求的 4 个。它的内存上限为 10Gi(工作集在 16,000 时为 3.6 GiB,在 20,000 时为 4.4 GiB)。事件库的额度按在每秒 20,000 个事件下检查点仍由时钟触发来确定。与上面一样,最后一行属于集群的关系型存储:请在安装时声明,并在旁边声明 TF_VAR_postgres_storage=32Gi。
实测与推导
实测运行使用的是 perf-12k 的规格,精确处理了每秒 16,000 个事件,确认延迟 p99 为 63 毫秒(目标为 50 毫秒)。此表中的每个取值都是从该次运行读出的,尚未按此取值实际运行;下一轮 GKE 测试会加以确认,若有变动,升级说明会写明。
每秒 20,000 个事件
在 perf-12k 的形态上,每秒 20,000 个事件被精确存储(1,320 万个事件,没有缺失也没有重复),没有丢失任何连接,确认延迟 p99 为 245 毫秒。这是吞吐上限:确认延迟超出目标,限制因素是单个 Broker 服务器(使用 5.2 个核,峰值 5.5)。perf-16k 的规格可以承载它,但这不是对延迟的承诺。
perf 规格不设置什么
- 事件信封。 这些数据是在开启信封时测得的,信封约可降低五分之一的 CPU。它是单独的开关,所以当
perf规格在关闭信封的情况下运行时,dcctl bootstrap会提示你。 --ha。 该速率是在单个 Broker 服务器上测得的。这种组合是允许的,dcctl bootstrap会提示它尚未实测。- 共享数据库与节点。 关系型存储的卷、数据库的 CPU 与内存请求、监控卷以及节点池都属于集群,保持
dcctl install和你的集群留下的状态。关系型存储的max_wal_size是同一类设置:规格只公布测量时所用的值,由你在安装时声明(见上文)。实测的集群使用三个节点池:服务用t2d-standard-8(两个节点),数据库用n2d-standard-8(两个节点),Broker 单独用一个t2d-standard-8,压测发生器在别处。
哪个值优先
从低到高:
- Chart 的默认值和 OpenTofu 变量的默认值;
- 规格;
dcctl自己算出的内容:HA 的副本数、信封开关、运行的服务、实例已有的卷;- 你的
--values覆盖文件; - 你在
TF_VAR_*、terraform.tfvars或*.auto.tfvars文件中声明的 OpenTofu 变量。
你声明的内容优先。当你已自行声明某个 OpenTofu 变量时,dcctl 根本不会传递规格的同名变量,否则 OpenTofu 会采用规格的值而非你的值。dcctl bootstrap 打印的那一行会写明所应用的规格。
更改运行中实例的规格
实例保留其 bootstrap 时的规格。把现有实例换到另一个规格不属于本版本;在此之前,请把想要的设置写进覆盖文件,它优先于任何规格。无论哪种规格,dcctl 都无法扩容 JetStream 卷,操作步骤见事件流能等待多久才扛过一次中断。