王绍宏
1c07acc01d
一、增加现场原始日志采集功能
1. 新增按设备采集原始日志的API：
- 指定设备ID；
- 采集时长最长10分钟；
- 单次最多返回50条样本。
2. 样本选择策略：
- 优先保留时间窗口内最早到达的N条日志；
- 后续出现JSON解析异常、非标、规则执行异常、InfluxDB/达梦写入异常或Retry/DLT时，
使用异常日志逐条替换最早的正常样本；
- 异常样本同样遵循先到先得。
3. 支持三个syslog-consumer-rule实例联合采集：
- 采集请求只需发送到任意一个实例；
- 三个实例通过公共Redis同步采集任务并汇总候选样本；
- 不需要配置其他实例IP；
- Redis只保存有界候选集，不保存时间窗口内的全部日志。
4. 生命周期和资源控制：
- 采集到期后自动停止接收新日志；
- 默认进入30秒DRAINING阶段，等待异步处理异常完成样本替换；
- 最终结果默认保留30分钟，之后自动删除；
- 单实例、单会话最多保留“前N条+前N条异常”；
- Redis故障不阻断Kafka主消费链路。
5. 返回规则解析和非标表截断之前的完整原始报文，不受
HB_XDR_TRUNCATED字段截断影响。
6. 原始日志采集和多实例汇聚默认启用：
SYSLOG_RAW_CAPTURE_ENABLED=true
SYSLOG_RAW_CAPTURE_CLUSTER_ENABLED=true
二、修复天眼/微步JSON规则匹配问题
1. JSON规则配置了cropper时，先判断原始报文是否包含对应head_key；
不匹配的规则不再将当前报文误判为非法JSON。
2. 同一设备绑定多条规则时，单条不适用或解析失败的JSON规则不再立即终止整个规则链，
程序会继续匹配后续适用规则。
3. 只有全部适用JSON规则均解析失败、且没有其他规则成功处理时，才写入
“JSON解析异常”非标记录。
4. 对cropper截取后仍包含Syslog或设备前缀的内容，在JSON专用路径中重新收敛到
第一个“{”至最后一个“}”，确保交给Jackson的是完整外层JSON。
5. 修复以下现场场景：
- 天眼规则129截取结果仍带有alarm前缀；
- 微步设备同时绑定固定偏移规则和Threatbook/TDP JSON规则；
- 不适用的固定偏移规则抢先产生JSON解析异常；
- Syslog头加JSON正文不能继续匹配后续适用规则。
三、增加现场采集工具及运维说明
新增upgrade-doc/v5：
- README.md：升级、配置、生命周期和故障排查说明；
- capture-device-raw-logs.sh：一键创建采集会话、等待完成并自动落盘。
脚本输出：
- result.json：完整采集结果；
- samples.jsonl：每行一条样本及处理状态；
- raw/*.log：每条未截断原始报文；
- summary.txt：采集数量、异常数量和替换数量；
- latest.json：中断或超时时的最后有效快照。
四、兼容性与升级范围
- 兼容JDK 8；
- 无需新增或修改达梦数据库表；
- 无需创建新的Kafka Topic；
- 需要滚动升级全部syslog-consumer-rule实例；
- 三个实例必须连接相同的Redis；
- 本次提交不包含syslog-serve的高内存、WAL或JVM参数调整。
62 lines
2.2 KiB
Markdown
62 lines
2.2 KiB
Markdown
# 查询主动丢弃的非告警数据
|
|
|
|
积压采样只丢弃部分普通日志和非标消息，告警全部保留。审计数据保存在达梦表
|
|
`syslog_backlog_retention_hourly`。
|
|
|
|
## 查看当前运行累计值
|
|
|
|
```bash
|
|
docker exec syslog-consumer-rule-dm sh -c \
|
|
'curl -fsS http://127.0.0.1:8289/xdrrule/api/syslog/backlog-sampling/status'
|
|
```
|
|
|
|
主要字段：
|
|
|
|
- `normal_rows_dropped_total`：本次应用启动后主动丢弃的普通日志行数；
|
|
- `non_normal_rows_dropped_total`：本次应用启动后主动丢弃的非标消息行数；
|
|
- `raw_dropped_total`：本次应用启动后没有写入 InfluxDB 的原文条数。
|
|
|
|
## 查询指定一天的丢弃总数
|
|
|
|
以下查询统计上海时间 `2026-09-13` 一整天：
|
|
|
|
```sql
|
|
SELECT
|
|
NVL(SUM(normal_rows_dropped), 0) AS normal_dropped,
|
|
NVL(SUM(non_normal_rows_dropped), 0) AS non_normal_dropped,
|
|
NVL(SUM(normal_rows_dropped), 0)
|
|
+ NVL(SUM(non_normal_rows_dropped), 0) AS non_alarm_rows_dropped,
|
|
NVL(SUM(raw_dropped), 0) AS raw_dropped,
|
|
NVL(SUM(alarm_rows_total), 0) AS alarm_total,
|
|
NVL(SUM(alarm_rows_saved), 0) AS alarm_saved
|
|
FROM syslog_backlog_retention_hourly
|
|
WHERE source_hour >= TIMESTAMP '2026-09-13 00:00:00'
|
|
AND source_hour < TIMESTAMP '2026-09-14 00:00:00';
|
|
```
|
|
|
|
## 按小时统计
|
|
|
|
```sql
|
|
SELECT
|
|
source_hour,
|
|
SUM(normal_rows_dropped) AS normal_dropped,
|
|
SUM(non_normal_rows_dropped) AS non_normal_dropped,
|
|
SUM(normal_rows_dropped) + SUM(non_normal_rows_dropped)
|
|
AS non_alarm_rows_dropped,
|
|
SUM(raw_dropped) AS raw_dropped,
|
|
SUM(alarm_rows_total) AS alarm_total,
|
|
SUM(alarm_rows_saved) AS alarm_saved,
|
|
MAX(max_lag_ms) AS max_lag_ms
|
|
FROM syslog_backlog_retention_hourly
|
|
WHERE source_hour >= TIMESTAMP '2026-09-13 00:00:00'
|
|
AND source_hour < TIMESTAMP '2026-09-14 00:00:00'
|
|
GROUP BY source_hour
|
|
ORDER BY source_hour;
|
|
```
|
|
|
|
`non_alarm_rows_dropped` 是普通和非标两类达梦业务行的合计。`raw_dropped` 是原始消息口径，
|
|
可能与这两类记录重叠，因此不要再把 `raw_dropped` 加到 `non_alarm_rows_dropped` 中。
|
|
|
|
正常情况下 `alarm_total` 应等于 `alarm_saved`。查询结果为零或没有小时记录，表示该时间段没有触发
|
|
积压采样，或者采样审计尚未成功写入。
|