feat(syslog): 增加积压采样免采样窗口
- 新增 start-lag-ms 配置,默认15分钟内全量保留 - 在15分钟至1小时之间按10级逐步降低保留率 - 延迟达到1小时后使用普通10%、非标20%的最低保留率 - 校验起始延迟必须小于最低保留率阈值 - 状态接口新增 start_lag_ms 配置展示 - 将采样策略版本升级为 v2 - 更新 Docker Compose 和 v4 升级配置说明 - 补充采样时间边界及非法配置单元测试
This commit is contained in:
@@ -0,0 +1,54 @@
|
||||
# v4 新增变量配置
|
||||
|
||||
配置文件:
|
||||
|
||||
```text
|
||||
syslog-consumer-rule/docker-compose/docker-compose-consumer-rule-prod.yaml
|
||||
```
|
||||
|
||||
在 `services.syslog-consumer-rule.environment` 中增加:
|
||||
|
||||
```yaml
|
||||
# 前15分钟全量保留,之后到1小时之间分10级降低保留率;告警始终全量保留。
|
||||
- SYSLOG_BACKLOG_SAMPLING_ENABLED=true
|
||||
- SYSLOG_BACKLOG_SAMPLING_START_LAG_MS=900000
|
||||
- SYSLOG_BACKLOG_SAMPLING_LAG_THRESHOLD_MS=3600000
|
||||
- SYSLOG_BACKLOG_SAMPLING_NORMAL_RETAIN_BPS=1000
|
||||
- SYSLOG_BACKLOG_SAMPLING_NON_NORMAL_RETAIN_BPS=2000
|
||||
- SYSLOG_BACKLOG_SAMPLING_DEGRADE_STEPS=10
|
||||
- SYSLOG_BACKLOG_SAMPLING_POLICY_VERSION=v2
|
||||
|
||||
# 小时审计最多等待 5 秒;失败后 60 秒内不重试,并回退全量保留。
|
||||
- SYSLOG_BACKLOG_SAMPLING_AUDIT_TIMEOUT_SECONDS=5
|
||||
- SYSLOG_BACKLOG_SAMPLING_AUDIT_RETRY_BACKOFF_MS=60000
|
||||
|
||||
# InfluxDB 原文写入失败时快速返回并继续主消费。
|
||||
- INFLUXDB_RAW_WRITE_REQUEST_TIMEOUT=5s
|
||||
- INFLUXDB_RAW_FAILURE_BACKOFF_MS=30000
|
||||
```
|
||||
|
||||
其中:
|
||||
|
||||
- `NORMAL_RETAIN_BPS` 和 `NON_NORMAL_RETAIN_BPS` 是达到延迟阈值后的最低保留万分比;`1000` 表示 10%,
|
||||
`2000` 表示 20%;
|
||||
- `START_LAG_MS=900000` 是15分钟免采样窗口,该时间内普通、非标及原文全部保留;
|
||||
- `LAG_THRESHOLD_MS=3600000` 是达到最低保留率的时间;扣除15分钟后,剩余45分钟由10级平均分配,
|
||||
每级4.5分钟;
|
||||
- `START_LAG_MS` 必须大于等于0并且小于 `LAG_THRESHOLD_MS`,配置非法时应用拒绝启动;
|
||||
- 修改起始延迟、结束阈值、最低保留率或级数时,必须同时修改 `POLICY_VERSION`,以便审计区分策略;
|
||||
- `AUDIT_TIMEOUT_SECONDS` 是单次达梦审计事务超时;审计失败时本批次全量保留;
|
||||
- `INFLUXDB_RAW_WRITE_REQUEST_TIMEOUT` 是连接、写入、读取各网络阶段的上限,不是整个批次的总超时;
|
||||
- `INFLUXDB_RAW_FAILURE_BACKOFF_MS` 是确认 InfluxDB 依赖故障后的快速跳过时间。
|
||||
|
||||
这些默认值已经写在 JAR 的 `application.properties` 中。现场只替换 JAR 时同样会默认开启采样;显式写入
|
||||
Compose 是为了便于后续核查和调整。启动新 JAR 前必须先创建
|
||||
`SYSLOG_BACKLOG_RETENTION_HOURLY`,否则应用会因审计失败回退全量保留,并周期性记录错误日志。
|
||||
|
||||
关闭采样只需设置:
|
||||
|
||||
```yaml
|
||||
- SYSLOG_BACKLOG_SAMPLING_ENABLED=false
|
||||
```
|
||||
|
||||
InfluxDB 非阻塞旁路不受通用的 `SYSLOG_FAILURE_CONTINUITY_ENABLED` 开关控制:InfluxDB 写入失败始终记录并
|
||||
放行,避免原文存储故障阻塞告警和后续 Kafka 消息。
|
||||
Reference in New Issue
Block a user