nanChen/ai-security-xdr
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
47 Commits 3 Branches 0 Tags
d7fcbdde9243856d563bfa98e927a563acf45886
Commit Graph

6 Commits

Author SHA1 Message Date
王绍宏 d7fcbdde92 feat(syslog-serve): 优化微步5秒窗口与5万条日志采集 
- 将 API 拉取任务的 lookbackSeconds 通用默认值调整为 0
- 微步任务采用5秒时间窗口、50000条单窗口上限和64MiB响应保护
- 将微步适配器及管理接口的 pageSize 上限放宽至50000
- 将 API 调度扫描默认周期调整为1000毫秒
- 兼容新旧调度扫描环境变量名称
- 更新达梦数据库 PAGE_SIZE 约束及 LOOKBACK_SECONDS 默认值
- 补充 v6 数据库预检、升级和验证脚本
- 更新微步任务模板、现场操作说明和启动版本标识
- 增加配置边界及启动参数自动化测试

验证：
- JDK 8 Maven测试通过：167个，失败0，错误0，跳过2
- git diff --check通过
 2026-09-17 23:15:15 +08:00
王绍宏 1c07acc01d feat(syslog-consumer-rule): 增加多节点原始日志采集并修复天眼/微步JSON规则匹配 
一、增加现场原始日志采集功能

1. 新增按设备采集原始日志的API：
   - 指定设备ID；
   - 采集时长最长10分钟；
   - 单次最多返回50条样本。

2. 样本选择策略：
   - 优先保留时间窗口内最早到达的N条日志；
   - 后续出现JSON解析异常、非标、规则执行异常、InfluxDB/达梦写入异常或Retry/DLT时，
     使用异常日志逐条替换最早的正常样本；
   - 异常样本同样遵循先到先得。

3. 支持三个syslog-consumer-rule实例联合采集：
   - 采集请求只需发送到任意一个实例；
   - 三个实例通过公共Redis同步采集任务并汇总候选样本；
   - 不需要配置其他实例IP；
   - Redis只保存有界候选集，不保存时间窗口内的全部日志。

4. 生命周期和资源控制：
   - 采集到期后自动停止接收新日志；
   - 默认进入30秒DRAINING阶段，等待异步处理异常完成样本替换；
   - 最终结果默认保留30分钟，之后自动删除；
   - 单实例、单会话最多保留“前N条+前N条异常”；
   - Redis故障不阻断Kafka主消费链路。

5. 返回规则解析和非标表截断之前的完整原始报文，不受
   HB_XDR_TRUNCATED字段截断影响。

6. 原始日志采集和多实例汇聚默认启用：
   SYSLOG_RAW_CAPTURE_ENABLED=true
   SYSLOG_RAW_CAPTURE_CLUSTER_ENABLED=true

二、修复天眼/微步JSON规则匹配问题

1. JSON规则配置了cropper时，先判断原始报文是否包含对应head_key；
   不匹配的规则不再将当前报文误判为非法JSON。

2. 同一设备绑定多条规则时，单条不适用或解析失败的JSON规则不再立即终止整个规则链，
   程序会继续匹配后续适用规则。

3. 只有全部适用JSON规则均解析失败、且没有其他规则成功处理时，才写入
   “JSON解析异常”非标记录。

4. 对cropper截取后仍包含Syslog或设备前缀的内容，在JSON专用路径中重新收敛到
   第一个“{”至最后一个“}”，确保交给Jackson的是完整外层JSON。

5. 修复以下现场场景：
   - 天眼规则129截取结果仍带有alarm前缀；
   - 微步设备同时绑定固定偏移规则和Threatbook/TDP JSON规则；
   - 不适用的固定偏移规则抢先产生JSON解析异常；
   - Syslog头加JSON正文不能继续匹配后续适用规则。

三、增加现场采集工具及运维说明

新增upgrade-doc/v5：
   - README.md：升级、配置、生命周期和故障排查说明；
   - capture-device-raw-logs.sh：一键创建采集会话、等待完成并自动落盘。

脚本输出：
   - result.json：完整采集结果；
   - samples.jsonl：每行一条样本及处理状态；
   - raw/*.log：每条未截断原始报文；
   - summary.txt：采集数量、异常数量和替换数量；
   - latest.json：中断或超时时的最后有效快照。

四、兼容性与升级范围

- 兼容JDK 8；
- 无需新增或修改达梦数据库表；
- 无需创建新的Kafka Topic；
- 需要滚动升级全部syslog-consumer-rule实例；
- 三个实例必须连接相同的Redis；
- 本次提交不包含syslog-serve的高内存、WAL或JVM参数调整。
 2026-09-14 23:11:45 +08:00
王绍宏 3b6c9e4714 fix(syslog-consumer-rule): 修复现场日志解析并补充升级工具 
- 支持设备头字段值包含空格，避免 WAF 等名称被误拆为无效键值对
- 将空字符串 cropper offset 按未配置处理，兼容历史标准化规则
- 增加设备头解析和空 offset 回归测试
- 增加统计物化 Topic 创建脚本
- 增加容器内 JAR 热替换脚本及操作说明
 2026-09-12 11:40:57 +08:00
王绍宏 c1472b9a95 fix(syslog-consumer-rule): 解耦统计物化并解决多实例达梦死锁 
- 将设备、规则和采集任务业务统计改为专用 Kafka Topic 异步物化
- 使用维度 ID 作为 Kafka key，保证同一统计维度串行更新
- 物化过程读取小型统计表精确值，确保重复消费不会重复计数
- 增加提交后发布、失败重试及定时小表对账补偿
- 固定日统计聚合键写入顺序，完善达梦死锁识别和事务重试
- JSON 解析失败直接转为非标日志，避免进入 DLT 重试链路
- 非标日志使用独立异步队列，不再阻塞正常消息 Kafka ACK
- Kafka 升级脚本新增 STATS.MATERIALIZE Topic
- 增加统计物化状态指标、配置示例及单元测试
 2026-09-11 20:42:22 +08:00
王绍宏 ce473b2c7d perf(syslog-consumer-rule): 非标日志改为单线程异步批量写入 
- 非标写库结果不再参与 Kafka ACK
- 使用独立单线程和有界队列处理非标日志
- 非标数据按固定大小分批写入达梦
- 增加异步成功、失败和队列拒绝指标
- 补充异步解耦及批量写入测试

perf(syslog-consumer-rule): 按批次字段并集优化达梦批量写入

- 普通日志和告警日志按非空字段并集生成批写模板
- 为同批记录补齐缺失字段并绑定 NULL
- 使用 MyBatis ExecutorType.BATCH 复用 PreparedStatement
- 避免固定写入全部 373 个候选字段
- 非标日志保留固定 24 列多行批量写入
- 批量大小和非标队列容量默认调整为 500
- 补充字段并集与动态 SQL 一致性测试
 2026-09-11 15:44:48 +08:00
王绍宏 00c0a1fb7f feat: 新增设备 API 拉取采集及配套处理能力 
- 接入 NDRServer 告警和流量日志，支持凭据与任务管理
- 支持分页拉取、窗口拆分、调度优先级及 WAL 持久化后推进断点
- 增加迟到告警规则重放，优化多条泛化规则选择和事件时间处理
- 补充回归测试、数据库升级脚本及部署文档
 2026-09-06 16:46:21 +08:00