可观察性
了解如何监控 RDI
RDI 使用 Prometheus exporter 终端节点报告有关其作的指标。 您可以使用 Prometheus 连接到终端节点以查询指标并绘制简单的图表,或使用 Grafana 连接到终端节点以生成更复杂的可视化和 仪表 板。
RDI 公开了两个终端节点,一个用于 CDC 收集器指标,另一个用于 另一个用于流处理器指标。 以下各节更详细地介绍了这些量度集。 请参阅 架构概述 有关这些概念的介绍。
redis-di status
命令。收集器指标
收集器指标的终端节点为https://<RDI_HOST>/metrics/collector-source
这些指标分为三组:
- Pipeline state:有关 pipeline 模式和连通性的指标
- 数据流计数器:每个源表的数据细分计数器
- 处理性能:RDI 微批量的处理速度
流处理器指标
流处理器指标的终端节点为https://<RDI_HOST>/metrics/rdi
RDI 报告引入管道的两个主要阶段(快照阶段和变更数据捕获 (CDC) 阶段)的指标。(有关更多信息,请参阅管道生命周期文档)。下表显示了 RDI 报告。
度量 | 阶段 |
---|---|
捕获表 | 双 |
连接 | 疾病预防控制中心 |
上一个事件 | 双 |
LastTransactionId | 疾病预防控制中心 |
MilliSecondsBehindSource (毫秒落后源) | 疾病预防控制中心 |
MilliSecondsSinceLastEvent | 双 |
NumberOfCommittedTransactions | 疾病预防控制中心 |
NumberOfEventsFiltered 事件数 | 双 |
QueueRemainingCapacity | 双 |
QueueTotalCapacity | 双 |
RemainingTableCount | 快照 |
RowsScanned | 快照 |
快照已中止 | 快照 |
快照已完成 | 快照 |
快照持续时间以秒为单位 | 快照 |
快照暂停 | 快照 |
SnapshotPausedDurationInSeconds | 快照 |
快照运行 | 快照 |
SourceEventPosition | 疾病预防控制中心 |
TotalNumberOfCreateEventsSeen | 疾病预防控制中心 |
TotalNumberOfDeleteEventsSeen | 疾病预防控制中心 |
TotalNumberOfEventsSeen 事件 | 双 |
TotalNumberOfUpdateEventsSeen | 疾病预防控制中心 |
TotalTableCount | 快照 |
RDI 日志
RDI 使用 fluentd 和 logrotate 来传送和轮换日志
用于其 Kubernetes (K8s) 组件。
因此,每当容器化组件被 RDI作器进程或 K8s 删除时,
日志可供您检查。
默认情况下,RDI 将日志存储在主机 VM 文件系统中,网址为/opt/rdi/logs
.
日志至少被记录INFO
级别,并在它们达到 100MB 大小时进行旋转。
默认情况下,RDI 会保留最近 5 个日志轮换文件。
日志采用简单的文本格式,这使您可以使用多种不同的可观测性工具对其进行分析。
您可以使用redis-di configure-rdi
命令。
Dump 支持包
如果您需要向 Redis 支持发送一组全面的取证数据,那么您应该
运行redis-di dump-support-package
命令。有关更多信息,请参阅故障排除。