feat(syslog): 增加积压采样免采样窗口
- 新增 start-lag-ms 配置，默认15分钟内全量保留 - 在15分钟至1小时之间按10级逐步降低保留率 - 延迟达到1小时后使用普通10%、非标20%的最低保留率 - 校验起始延迟必须小于最低保留率阈值 - 状态接口新增 start_lag_ms 配置展示 - 将采样策略版本升级为 v2 - 更新 Docker Compose 和 v4 升级配置说明 - 补充采样时间边界及非法配置单元测试
This commit is contained in:
王绍宏
@@ -0,0 +1,124 @@
|
||||
# v4 积压分级采样与告警优先升级说明
|
||||
|
||||
## 升级范围
|
||||
|
||||
v4 只升级 `syslog-consumer-rule` 和达梦数据库，不修改 `syslog-serve`，也不新增 Kafka Topic。
|
||||
|
||||
本次升级包含：
|
||||
|
||||
- 根据消息 `receive_time` 与当前时间的差值，对积压消息分级采样；
|
||||
- `syslog_normal_alarm` 始终全量保留，并在 InfluxDB 原文、普通表和非标表之前单独提交；
|
||||
- 未被保留的 `syslog_normal_data`、`syslog_non_normal_message` 及对应原文不写入存储；
|
||||
- 按消息来源小时、Topic、Partition、策略版本和实际保留率记录采样审计；
|
||||
- 审计表不可用时自动回退为全量保留，不执行有损采样；
|
||||
- InfluxDB 原文写入变为非关键旁路，启动检查或运行时写入失败只记录并继续主消费。
|
||||
|
||||
## 文件与执行顺序
|
||||
|
||||
| 顺序 | 文件 | 作用 |
|
||||
| --- | --- | --- |
|
||||
| 1 | `database/01-backlog-sampling-precheck.sql` | 只读检查目标表、约束和索引是否已经存在 |
|
||||
| 2 | `database/02-backlog-sampling-upgrade.sql` | 创建积压采样小时审计表，仅执行一次 |
|
||||
| 3 | `database/03-backlog-sampling-verify.sql` | 只读验证表结构，并查看实际保留情况 |
|
||||
| 4 | `config/01-new-environment-variables.md` | 核对新增配置，再替换 `syslog-consumer-rule` JAR |
|
||||
|
||||
数据库脚本必须使用 `syslog-consumer-rule` 实际连接的达梦用户执行。
|
||||
|
||||
## 第一步：升级达梦
|
||||
|
||||
先执行：
|
||||
|
||||
```text
|
||||
database/01-backlog-sampling-precheck.sql
|
||||
```
|
||||
|
||||
- 如果目标表、约束和索引都不存在，执行 `02-backlog-sampling-upgrade.sql`，再执行
|
||||
`03-backlog-sampling-verify.sql`；
|
||||
- 如果目标表已经存在，不要重复执行 `02`，直接执行 `03` 核对结构；
|
||||
- 如果只存在部分对象，先停止升级并确认此前执行到哪一步，不要盲目重跑建表脚本。
|
||||
|
||||
`03` 验证应满足：
|
||||
|
||||
- 返回 `SYSLOG_BACKLOG_RETENTION_HOURLY` 一张表；
|
||||
- 表包含 22 个字段；
|
||||
- 主键和保留率检查约束状态为 `ENABLED`；
|
||||
- 更新时间索引状态为 `VALID`。
|
||||
|
||||
## 第二步：配置并升级应用
|
||||
|
||||
按 [新增变量配置清单](./config/01-new-environment-variables.md) 核对配置，然后替换并重启
|
||||
`syslog-consumer-rule`。只替换 JAR、不增加环境变量时，积压采样也会按 JAR 内置默认值开启，因此必须先
|
||||
完成数据库升级。
|
||||
|
||||
默认策略如下：
|
||||
|
||||
| 消息延迟 | 普通记录保留率 | 非标记录保留率 |
|
||||
| --- | ---: | ---: |
|
||||
| 不大于 15 分钟 | 100% | 100% |
|
||||
| 大于 15、且小于 19.5 分钟 | 100% | 100% |
|
||||
| 19.5～小于 24 分钟 | 91% | 92% |
|
||||
| 24～小于 28.5 分钟 | 82% | 84% |
|
||||
| 28.5～小于 33 分钟 | 73% | 76% |
|
||||
| 33～小于 37.5 分钟 | 64% | 68% |
|
||||
| 37.5～小于 42 分钟 | 55% | 60% |
|
||||
| 42～小于 46.5 分钟 | 46% | 52% |
|
||||
| 46.5～小于 51 分钟 | 37% | 44% |
|
||||
| 51～小于 55.5 分钟 | 28% | 36% |
|
||||
| 55.5～小于 60 分钟 | 19% | 28% |
|
||||
| 不小于 60 分钟 | 10% | 20% |
|
||||
|
||||
默认前 15 分钟为免采样窗口。之后使用 `（60 分钟 - 15 分钟）÷ 10 = 4.5 分钟` 的阶梯宽度；
|
||||
达到 1 小时才使用最低保留率。
|
||||
|
||||
采样采用 `event_id` 的确定性哈希：同一策略版本下，同一消息重复处理时选择结果一致。规则计算始终执行，
|
||||
只有完成规则计算、确认是否产生告警并成功写入小时审计后，才执行丢弃。
|
||||
|
||||
## 写入顺序与故障行为
|
||||
|
||||
每个批次按以下顺序处理：
|
||||
|
||||
1. 完整规则计算并提交采样审计；
|
||||
2. 单独提交全部 `syslog_normal_alarm`；
|
||||
3. 写入被保留消息的 InfluxDB 原文；
|
||||
4. 写入被保留的 `syslog_normal_data` 和 `syslog_non_normal_message`。
|
||||
|
||||
InfluxDB 原文写入默认单次网络阶段最多等待 5 秒；发生依赖故障后，30 秒内快速跳过后续原文请求。启动
|
||||
健康检查失败、写入失败以及特殊 DLT 写入失败都只记录日志，不阻塞 Kafka 主消费进度。
|
||||
|
||||
## 升级后验证
|
||||
|
||||
查看消费和异常日志：
|
||||
|
||||
```bash
|
||||
docker logs --since 10m syslog-consumer-rule-dm 2>&1 \
|
||||
| grep -E 'Syslog批次完成|BACKLOG_SAMPLING|INFLUX_RAW_BYPASS|SYSLOG_CONTINUITY_LOSS' \
|
||||
| tail -100
|
||||
```
|
||||
|
||||
查看运行状态：
|
||||
|
||||
```text
|
||||
GET /xdrrule/api/syslog/backlog-sampling/status
|
||||
GET /xdrrule/api/syslog/raw-storage/metrics
|
||||
```
|
||||
|
||||
然后执行 `database/03-backlog-sampling-verify.sql` 的最后一段查询。没有延迟消息时，审计查询为空属于正常；
|
||||
发生积压后，应能按来源小时看到告警保存数、普通/非标实际保留率和原文丢弃数。
|
||||
|
||||
重点确认：
|
||||
|
||||
- `alarm_rows_saved` 始终等于 `alarm_rows_total`；
|
||||
- `audit_write_failures_total` 和 `audit_fallback_messages_total` 不持续增加；
|
||||
- InfluxDB 故障时 Kafka offset 仍继续推进，告警和达梦保留数据仍持续写入；
|
||||
- `raw_write_bypassed_messages_total` 增加表示原文旁路失败，不表示主消费停止。
|
||||
|
||||
## 回滚
|
||||
|
||||
紧急关闭采样可配置：
|
||||
|
||||
```yaml
|
||||
- SYSLOG_BACKLOG_SAMPLING_ENABLED=false
|
||||
```
|
||||
|
||||
重建 `syslog-consumer-rule` 容器后，普通、非标及原文恢复全量保留。也可回滚旧 JAR。无论采用哪种方式，
|
||||
都保留 `syslog_backlog_retention_hourly` 表，不要删除历史审计数据。
|
||||
@@ -0,0 +1,54 @@
|
||||
# v4 新增变量配置
|
||||
|
||||
配置文件：
|
||||
|
||||
```text
|
||||
syslog-consumer-rule/docker-compose/docker-compose-consumer-rule-prod.yaml
|
||||
```
|
||||
|
||||
在 `services.syslog-consumer-rule.environment` 中增加：
|
||||
|
||||
```yaml
|
||||
# 前15分钟全量保留，之后到1小时之间分10级降低保留率；告警始终全量保留。
|
||||
- SYSLOG_BACKLOG_SAMPLING_ENABLED=true
|
||||
- SYSLOG_BACKLOG_SAMPLING_START_LAG_MS=900000
|
||||
- SYSLOG_BACKLOG_SAMPLING_LAG_THRESHOLD_MS=3600000
|
||||
- SYSLOG_BACKLOG_SAMPLING_NORMAL_RETAIN_BPS=1000
|
||||
- SYSLOG_BACKLOG_SAMPLING_NON_NORMAL_RETAIN_BPS=2000
|
||||
- SYSLOG_BACKLOG_SAMPLING_DEGRADE_STEPS=10
|
||||
- SYSLOG_BACKLOG_SAMPLING_POLICY_VERSION=v2
|
||||
|
||||
# 小时审计最多等待 5 秒；失败后 60 秒内不重试，并回退全量保留。
|
||||
- SYSLOG_BACKLOG_SAMPLING_AUDIT_TIMEOUT_SECONDS=5
|
||||
- SYSLOG_BACKLOG_SAMPLING_AUDIT_RETRY_BACKOFF_MS=60000
|
||||
|
||||
# InfluxDB 原文写入失败时快速返回并继续主消费。
|
||||
- INFLUXDB_RAW_WRITE_REQUEST_TIMEOUT=5s
|
||||
- INFLUXDB_RAW_FAILURE_BACKOFF_MS=30000
|
||||
```
|
||||
|
||||
其中：
|
||||
|
||||
- `NORMAL_RETAIN_BPS` 和 `NON_NORMAL_RETAIN_BPS` 是达到延迟阈值后的最低保留万分比；`1000` 表示 10%，
|
||||
`2000` 表示 20%；
|
||||
- `START_LAG_MS=900000` 是15分钟免采样窗口，该时间内普通、非标及原文全部保留；
|
||||
- `LAG_THRESHOLD_MS=3600000` 是达到最低保留率的时间；扣除15分钟后，剩余45分钟由10级平均分配，
|
||||
每级4.5分钟；
|
||||
- `START_LAG_MS` 必须大于等于0并且小于 `LAG_THRESHOLD_MS`，配置非法时应用拒绝启动；
|
||||
- 修改起始延迟、结束阈值、最低保留率或级数时，必须同时修改 `POLICY_VERSION`，以便审计区分策略；
|
||||
- `AUDIT_TIMEOUT_SECONDS` 是单次达梦审计事务超时；审计失败时本批次全量保留；
|
||||
- `INFLUXDB_RAW_WRITE_REQUEST_TIMEOUT` 是连接、写入、读取各网络阶段的上限，不是整个批次的总超时；
|
||||
- `INFLUXDB_RAW_FAILURE_BACKOFF_MS` 是确认 InfluxDB 依赖故障后的快速跳过时间。
|
||||
|
||||
这些默认值已经写在 JAR 的 `application.properties` 中。现场只替换 JAR 时同样会默认开启采样；显式写入
|
||||
Compose 是为了便于后续核查和调整。启动新 JAR 前必须先创建
|
||||
`SYSLOG_BACKLOG_RETENTION_HOURLY`，否则应用会因审计失败回退全量保留，并周期性记录错误日志。
|
||||
|
||||
关闭采样只需设置：
|
||||
|
||||
```yaml
|
||||
- SYSLOG_BACKLOG_SAMPLING_ENABLED=false
|
||||
```
|
||||
|
||||
InfluxDB 非阻塞旁路不受通用的 `SYSLOG_FAILURE_CONTINUITY_ENABLED` 开关控制：InfluxDB 写入失败始终记录并
|
||||
放行，避免原文存储故障阻塞告警和后续 Kafka 消息。
|
||||
@@ -0,0 +1,21 @@
|
||||
-- v4 达梦升级预检：只读，不修改任何对象。
|
||||
-- 必须使用 syslog-consumer-rule 实际连接的达梦用户执行。
|
||||
|
||||
-- 首次升级应返回 0 行；如果返回 1 行，不要重复执行 02，直接执行 03 验证。
|
||||
SELECT table_name
|
||||
FROM user_tables
|
||||
WHERE table_name = 'SYSLOG_BACKLOG_RETENTION_HOURLY';
|
||||
|
||||
-- 首次升级应返回 0 行。
|
||||
SELECT constraint_name, constraint_type, status, table_name
|
||||
FROM user_constraints
|
||||
WHERE constraint_name IN (
|
||||
'PK_SYSLOG_BACKLOG_RET_HOURLY',
|
||||
'CK_SYSLOG_BACKLOG_RET_BPS'
|
||||
)
|
||||
ORDER BY constraint_name;
|
||||
|
||||
-- 首次升级应返回 0 行。
|
||||
SELECT index_name, table_name, uniqueness, status
|
||||
FROM user_indexes
|
||||
WHERE index_name = 'IDX_SYSLOG_BACKLOG_RET_UPDATED';
|
||||
@@ -0,0 +1,49 @@
|
||||
-- v4 达梦升级：创建 Kafka 积压分级采样的小时审计表。
|
||||
-- 仅在 01 预检确认目标对象均不存在时执行一次，不要重复执行。
|
||||
|
||||
CREATE TABLE syslog_backlog_retention_hourly (
|
||||
source_hour TIMESTAMP NOT NULL,
|
||||
source_topic VARCHAR2(255) NOT NULL,
|
||||
kafka_partition INT NOT NULL,
|
||||
policy_version VARCHAR2(64) NOT NULL,
|
||||
normal_retain_bps INT NOT NULL,
|
||||
non_normal_retain_bps INT NOT NULL,
|
||||
message_total BIGINT DEFAULT 0 NOT NULL,
|
||||
alarm_rows_total BIGINT DEFAULT 0 NOT NULL,
|
||||
alarm_rows_saved BIGINT DEFAULT 0 NOT NULL,
|
||||
normal_rows_total BIGINT DEFAULT 0 NOT NULL,
|
||||
normal_rows_saved BIGINT DEFAULT 0 NOT NULL,
|
||||
normal_rows_dropped BIGINT DEFAULT 0 NOT NULL,
|
||||
non_normal_rows_total BIGINT DEFAULT 0 NOT NULL,
|
||||
non_normal_rows_saved BIGINT DEFAULT 0 NOT NULL,
|
||||
non_normal_rows_dropped BIGINT DEFAULT 0 NOT NULL,
|
||||
raw_total BIGINT DEFAULT 0 NOT NULL,
|
||||
raw_saved BIGINT DEFAULT 0 NOT NULL,
|
||||
raw_dropped BIGINT DEFAULT 0 NOT NULL,
|
||||
min_lag_ms BIGINT DEFAULT 0 NOT NULL,
|
||||
max_lag_ms BIGINT DEFAULT 0 NOT NULL,
|
||||
created_at TIMESTAMP DEFAULT SYSDATE NOT NULL,
|
||||
updated_at TIMESTAMP DEFAULT SYSDATE NOT NULL,
|
||||
CONSTRAINT pk_syslog_backlog_ret_hourly PRIMARY KEY (
|
||||
source_hour, source_topic, kafka_partition, policy_version,
|
||||
normal_retain_bps, non_normal_retain_bps
|
||||
),
|
||||
CONSTRAINT ck_syslog_backlog_ret_bps CHECK (
|
||||
normal_retain_bps BETWEEN 0 AND 10000
|
||||
AND non_normal_retain_bps BETWEEN 0 AND 10000
|
||||
)
|
||||
);
|
||||
|
||||
CREATE INDEX idx_syslog_backlog_ret_updated
|
||||
ON syslog_backlog_retention_hourly(updated_at);
|
||||
|
||||
COMMENT ON TABLE syslog_backlog_retention_hourly IS
|
||||
'Kafka积压分级采样小时审计；按来源小时、Topic、Partition和策略聚合';
|
||||
COMMENT ON COLUMN syslog_backlog_retention_hourly.source_hour IS
|
||||
'syslog-serve生成的receive_time所在小时（Asia/Shanghai）';
|
||||
COMMENT ON COLUMN syslog_backlog_retention_hourly.normal_retain_bps IS
|
||||
'普通标准化记录该级实际保留万分比，10000表示100%';
|
||||
COMMENT ON COLUMN syslog_backlog_retention_hourly.non_normal_retain_bps IS
|
||||
'非标记录该级实际保留万分比，10000表示100%';
|
||||
|
||||
COMMIT;
|
||||
@@ -0,0 +1,56 @@
|
||||
-- v4 Kafka 积压分级采样升级验证：只读。
|
||||
|
||||
-- 应返回 SYSLOG_BACKLOG_RETENTION_HOURLY 一行。
|
||||
SELECT table_name
|
||||
FROM user_tables
|
||||
WHERE table_name = 'SYSLOG_BACKLOG_RETENTION_HOURLY';
|
||||
|
||||
-- 应返回 22 个字段。
|
||||
SELECT column_id, column_name, data_type, nullable
|
||||
FROM user_tab_columns
|
||||
WHERE table_name = 'SYSLOG_BACKLOG_RETENTION_HOURLY'
|
||||
ORDER BY column_id;
|
||||
|
||||
-- 两个约束都应为 ENABLED。
|
||||
SELECT constraint_name, constraint_type, status
|
||||
FROM user_constraints
|
||||
WHERE constraint_name IN (
|
||||
'PK_SYSLOG_BACKLOG_RET_HOURLY',
|
||||
'CK_SYSLOG_BACKLOG_RET_BPS'
|
||||
)
|
||||
ORDER BY constraint_name;
|
||||
|
||||
-- 索引应为 VALID。
|
||||
SELECT index_name, uniqueness, status
|
||||
FROM user_indexes
|
||||
WHERE index_name = 'IDX_SYSLOG_BACKLOG_RET_UPDATED';
|
||||
|
||||
-- 结构验证后应能执行；首次建表且还未发生积压采样时返回 0。
|
||||
SELECT COUNT(*) AS audit_row_count
|
||||
FROM syslog_backlog_retention_hourly;
|
||||
|
||||
-- 查看每个来源小时的实际选择率。该值反映采样选择，不代表后续存储一定写入成功。
|
||||
-- 没有发生积压采样时，本查询返回空属于正常。
|
||||
SELECT
|
||||
source_hour,
|
||||
SUM(message_total) AS message_total,
|
||||
SUM(alarm_rows_total) AS alarm_rows_total,
|
||||
SUM(alarm_rows_saved) AS alarm_rows_saved,
|
||||
SUM(normal_rows_total) AS normal_rows_total,
|
||||
SUM(normal_rows_saved) AS normal_rows_saved,
|
||||
SUM(normal_rows_dropped) AS normal_rows_dropped,
|
||||
CASE WHEN SUM(normal_rows_total) = 0 THEN 1
|
||||
ELSE SUM(normal_rows_saved) * 1.0 / SUM(normal_rows_total) END AS normal_actual_rate,
|
||||
SUM(non_normal_rows_total) AS non_normal_rows_total,
|
||||
SUM(non_normal_rows_saved) AS non_normal_rows_saved,
|
||||
SUM(non_normal_rows_dropped) AS non_normal_rows_dropped,
|
||||
CASE WHEN SUM(non_normal_rows_total) = 0 THEN 1
|
||||
ELSE SUM(non_normal_rows_saved) * 1.0 / SUM(non_normal_rows_total) END AS non_normal_actual_rate,
|
||||
SUM(raw_total) AS raw_total,
|
||||
SUM(raw_saved) AS raw_saved,
|
||||
SUM(raw_dropped) AS raw_dropped,
|
||||
MIN(min_lag_ms) AS min_lag_ms,
|
||||
MAX(max_lag_ms) AS max_lag_ms
|
||||
FROM syslog_backlog_retention_hourly
|
||||
GROUP BY source_hour
|
||||
ORDER BY source_hour DESC;
|
||||
Reference in New Issue
Block a user