Elegir un tamaño
El tamaño de una instancia es una sola elección con nombre. dcctl convierte ese nombre en el
mismo conjunto de ajustes cada vez, de modo que una cifra medida en un clúster se puede
reproducir en otro, en lugar de reconstruirla a partir de una lista de entradas de superposición
y de exportaciones TF_VAR_.
Un tamaño es un preajuste, no un dial. Combina ajustes que ya existen, nunca cambia qué
servicios se ejecutan (eso sigue en el perfil) y nunca activa un comportamiento:
los sobres de eventos y la confirmación MQTT a prueba de fallos quedan como los hayas puesto. Es
independiente de --ha, que decide cuántas copias se ejecutan, mientras que el tamaño decide lo
grande que es cada copia.
| Tamaño | Para | Estado |
|---|---|---|
base | Un portátil o un clúster pequeño. Es el valor por defecto: una instancia que no indica tamaño es base y genera exactamente lo que generaba antes de que existieran los tamaños. | El dimensionamiento estándar, descrito en Dimensionamiento de servicios. |
compact | Un portátil con pocos recursos. Es un ajuste del clúster, elegido al instalar; --compact es lo mismo y se mantiene. | Descrito en --compact. |
perf-12k | Un clúster sin --ha, grupos de plataforma de unas 40 vCPU, 12 000 eventos por segundo sostenidos con los sobres de eventos activados. | Medido: 12 000 eventos por segundo sostenidos sin incidencias en GKE (confirmación p99 por debajo de 4 ms), con todos los eventos contabilizados. Algunos valores se corrigen a partir de esa ejecución y aún no se han ejecutado tal cual; véase más abajo. |
perf-16k | La misma configuración para 16 000 eventos por segundo sostenidos: un broker, una asignación del registro de escritura anticipada y un pod de event-processing más grandes. 20 000 eventos por segundo es un techo de rendimiento, no el objetivo. | Derivado de la misma ejecución en GKE, que mantuvo 16 000 eventos por segundo con exactitud; el dimensionamiento apunta a la latencia de confirmación de 50 ms que esa ejecución rozó (63 ms con el dimensionamiento de perf-12k). Aún no se ha ejecutado tal cual; véase más abajo. |
Un tamaño lleva el nombre de la tasa que mantiene dentro del objetivo de latencia. El nombre es la
afirmación, así que un tamaño nunca se publica como objetivo. Por eso no existe perf-20k: la
configuración medida almacenó 20 000 eventos por segundo con exactitud, sin pérdidas ni duplicados,
pero las confirmaciones tardaron 245 ms en el percentil 99, así que 20 000 se documenta como un techo
de rendimiento de perf-16k y no como un tamaño.
Elegir uno
dcctl install <provider> --kube-context <context>
dcctl bootstrap <provider> <instance> --size perf-12k
--size compact en dcctl install equivale a --compact. Los tamaños perf se eligen por
instancia, con dcctl bootstrap. Un tamaño perf se rechaza en un clúster compacto.
El tamaño queda registrado en la instancia y dcctl upgrade lo vuelve a aplicar cada vez, de modo
que una actualización nunca cambia el tamaño de una instancia. Una versión que reajusta un tamaño
cambia las instancias registradas con él en su siguiente actualización, y sus notas de
actualización lo indican.
Qué establece perf-12k
Cada fila es un pod. --ha decide el número de réplicas de event-management (dos) y el número de servidores del broker y de instancias de base de datos (tres de cada); los recuentos de réplicas de abajo para los demás servicios se mantienen, y el tamaño de cada copia sigue siendo el indicado.
| Servicio | Réplicas | Límite de CPU | Límite de memoria | Solicitud de CPU |
|---|---|---|---|---|
device-management | 2 | 3 | - | 400m |
device-state | 2 | 3 | 512Mi | 250m |
event-management | - | 4 | 1Gi | 400m |
event-processing | - | 2 | 1Gi | 500m |
event-sources | 3 | 3 | 256Mi | 600m |
Un guion significa que el tamaño no indica nada y se aplica el valor propio del chart.
device-management conserva su mínimo de memoria en lugar de un límite propio, porque un límite
escrito por un tamaño se saltaría ese mínimo. event-management mantiene una réplica salvo que
--ha decida otra cosa.
El broker, los volúmenes y la asignación del registro de escritura anticipada del almacén de eventos:
| Ajuste | Valor |
|---|---|
streamDesignRate | 12000 |
nats_cpu_request | 4 |
nats_memory_request | 4Gi |
nats_memory_limit | 8Gi |
nats_jetstream_storage | 28Gi |
timescale_storage | 160Gi |
timescale_max_wal_size_mib | 20480 |
postgres_max_wal_size_mib | 4096 |
El volumen de JetStream se dimensiona para que quepa la reserva de la tasa de diseño; una actualización nunca cambia el tamaño de un volumen que la instancia ya tiene, así que un tamaño aplicado a una instancia existente conserva los volúmenes con los que se creó.
La última fila es del almacén relacional del clúster, no de la instancia. Un bootstrap no la pasa: indícala al ejecutar dcctl install, junto con un volumen que le deje espacio, por ejemplo TF_VAR_postgres_max_wal_size_mib=4096 y TF_VAR_postgres_storage=16Gi. Llega a la base de datos a través de la definición del clúster (el operador de la base de datos no permite ALTER SYSTEM), no cambia nada en los pods en ejecución, y el plan rechaza un valor superior a una cuarta parte de postgres_storage, porque el registro comparte el volumen de datos. El valor por defecto 0 deja el 1GB propio de PostgreSQL, y a esta tasa fuerza un checkpoint por volumen de registro cada uno o dos minutos. dcctl no registra postgres_max_wal_size_mib: una nueva ejecución posterior de dcctl install sin la variable la devuelve al 1GB de PostgreSQL. El cambio es solo de recarga y no pone en riesgo ningún dato, pero indica la variable en cada ejecución de install (por ejemplo en terraform.tfvars).
Medido y derivado
La configuración (las réplicas y los límites de CPU de arriba, y los 12 000 eventos por segundo) se midió en GKE con 40 vCPU de grupos de plataforma; el resto de las 48 vCPU de ese clúster era el generador de carga. Una ejecución posterior con la misma configuración mantuvo 12 000 eventos por segundo con todos los eventos contabilizados, una confirmación p99 de 3,7 ms, sin reinicios y sin ningún checkpoint solicitado por volumen de registro. De esa misma ejecución se leyeron tres valores que aún no se han ejecutado tal cual: la solicitud de 400m de device-management, el límite de memoria de 256Mi de event-sources (81 MiB residentes como máximo) y la asignación de 4096 MiB del almacén relacional. Las notas de actualización lo indicarán si una ronda posterior los cambia.
Cuánto dura el volumen del almacén de eventos
Un evento almacenado cuesta unos 756 bytes en el almacén de eventos, con índices y antes de comprimir (345 bytes en la tabla de eventos y 454 en la de mediciones). Con 12 000 eventos por segundo saturados son 32,7 GB por hora, así que el volumen de 160Gi aguanta unas tres horas y media de ingesta continua tras la asignación del registro y el margen de trabajo. perf-16k establece 260Gi, que aguantan unas cuatro horas a 16 000 eventos por segundo (43,6 GB por hora). Son volúmenes para ráfagas y pruebas de carga, no de retención. Los fragmentos anteriores a lifecycle.compressAfterDays (7 por defecto) se comprimen, así que para un uso sostenido configura el ciclo de vida de los datos y dimensiona el volumen en consecuencia: véase Dimensionar el almacén de eventos. La alerta DatabaseVolumeFillsWithinDay salta cuando el volumen va camino de llenarse.
Qué establece perf-16k
perf-16k es la configuración de perf-12k con elevados los parámetros que la rampa de 12 000 a 20 000 mostró como limitantes. Los recuentos de réplicas y los límites de CPU de los servicios no cambian; las solicitudes suben con el uso medido por pod.
| Servicio | Réplicas | Límite de CPU | Límite de memoria | Solicitud de CPU |
|---|---|---|---|---|
device-management | 2 | 3 | - | 500m |
device-state | 2 | 3 | 512Mi | 300m |
event-management | - | 4 | 1Gi | 450m |
event-processing | - | 2 | 1536Mi | 700m |
event-sources | 3 | 3 | 256Mi | 750m |
event-processing recibe 2 CPU y 1536Mi: con una CPU hubo limitación desde 16 000 eventos por segundo, y 1,5Gi con 2 CPU fue la única configuración cuyo retraso de detección se mantuvo por debajo de la marca de agua a 20 000.
El broker, los volúmenes y las asignaciones del registro de escritura anticipada:
| Ajuste | Valor |
|---|---|
streamDesignRate | 16000 |
nats_cpu_request | 6 |
nats_memory_request | 6Gi |
nats_memory_limit | 10Gi |
nats_jetstream_storage | 36Gi |
timescale_storage | 260Gi |
timescale_max_wal_size_mib | 40960 |
postgres_max_wal_size_mib | 8192 |
La tasa de diseño de los flujos es 16000 y el volumen de JetStream 36Gi: la reserva para una interrupción de 15 minutos a esa tasa (unos 17,5 GiB, y 30 GiB con la confirmación a prueba de fallos activada) tiene que caber en él. El broker solicita 6 CPU porque usó 4,25 núcleos a 16 000 eventos por segundo y 5,2 a 20 000, más de los 4 que solicita perf-12k. Su límite de memoria es 10Gi (conjunto de trabajo de 3,6 GiB a 16 000 y 4,4 GiB a 20 000). La asignación del almacén de eventos está dimensionada para que los checkpoints sigan el reloj a 20 000 eventos por segundo. Como arriba, la última fila es del almacén relacional del clúster: indícala al instalar, con TF_VAR_postgres_storage=32Gi a su lado.
Medido y derivado
La ejecución medida usó el dimensionamiento de perf-12k y mantuvo 16 000 eventos por segundo con exactitud, con una confirmación p99 de 63 ms (el objetivo es 50 ms). Todos los valores de esta tabla se leen de esa ejecución y aún no se han ejecutado tal cual; la próxima ronda en GKE los confirmará, y las notas de actualización lo indicarán si cambian.
20 000 eventos por segundo
Con la configuración de perf-12k, 20 000 eventos por segundo se almacenaron con exactitud (13,2 millones de eventos, ninguno perdido ni duplicado) sin perder ninguna conexión, con una confirmación p99 de 245 ms. Es un techo de rendimiento: la latencia de confirmación supera su objetivo y el límite es el único servidor del broker (5,2 núcleos en uso, pico de 5,5). El dimensionamiento de perf-16k lo soporta, pero no es una promesa sobre la latencia.
Lo que los tamaños perf no establecen
- Los sobres de eventos. Las cifras se midieron con ellos activados, y reducen la CPU en
aproximadamente una quinta parte. Son un interruptor aparte, así que
dcctl bootstrapte avisa cuando un tamañoperfse ejecuta con ellos desactivados. --ha. La tasa se midió con un solo servidor de broker. La combinación está permitida ydcctl bootstrapavisa de que no se ha medido.- La base de datos compartida y los nodos. El volumen del almacén relacional, las solicitudes
de CPU y memoria de las bases de datos, el volumen de monitorización y los grupos de nodos
pertenecen al clúster y quedan como los dejó
dcctl instally tu clúster. Elmax_wal_sizedel almacén relacional es un ajuste del mismo tipo: el tamaño publica el valor con el que se midió y lo indicas al instalar (véase arriba). El clúster medido usó tres grupos de nodos:t2d-standard-8para los servicios (dos nodos),n2d-standard-8para las bases de datos (dos nodos) y unt2d-standard-8solo para el broker, con el generador de carga en otro sitio.
Qué valor prevalece
De menor a mayor prioridad:
- los valores por defecto del chart y de las variables de OpenTofu;
- el tamaño;
- lo que
dcctlcalcula por sí mismo: los recuentos de réplicas de HA, el interruptor de los sobres, los servicios que se ejecutan y los volúmenes que la instancia ya tiene; - tu superposición
--values; - una variable de OpenTofu que indiques en
TF_VAR_*,terraform.tfvarso un archivo*.auto.tfvars.
Prevalece lo que tú indiques. dcctl no pasa en absoluto una variable de OpenTofu del tamaño
cuando ya la has indicado tú, porque de lo contrario OpenTofu tomaría el valor del tamaño en lugar
del tuyo. La línea que imprime dcctl bootstrap nombra el tamaño que aplicó.
Cambiar el tamaño de una instancia en ejecución
Una instancia conserva el tamaño con el que se hizo el bootstrap. Pasar una instancia existente a
otro tamaño no forma parte de esta versión; hasta entonces, indica los ajustes que quieras en una
superposición, que prevalece sobre cualquier tamaño. Sea cual sea el tamaño, dcctl no puede
ampliar un volumen de JetStream: consulta
cuánto tiempo pueden esperar los flujos de eventos durante una interrupción
para el procedimiento.