 王绍宏
|
7e6b2fc4dc
|
feat(syslog): 提升RAW消费及达梦批量写入上限
- 将普通RAW基础处理批量调整为3000条
- 将RAW自适应拉取上限调整为5000条
- 将普通、告警及非标达梦批量写入上限调整为2000条
- 启动日志增加达梦实际批量配置输出
- 补充自适应分块和达梦批量写入测试
- 更新v4吞吐优化升级说明
|
2026-09-13 11:19:35 +08:00 |
|
|
王绍宏
|
e393350c8b
|
feat(syslog): 增加普通通道字段截断并完善慢写诊断
- 新增普通通道字段上限配置，默认2048个UTF-8字节，截断尾部保留标记
- 规则计算后执行截断，告警不应用新增2KB限制，原有256KB策略不变
- 非标原文、头部及详细原因应用新增限制，大日志通道和InfluxDB策略不变
- Retry/Replay按原始Topic识别通道，启动日志输出生效上限
- 补充达梦实际写入内容大小、最大行及最大字段诊断
- 慢日志默认阈值统一调整为1000毫秒，异常和失败仍记录
- 更新v4配置说明及回归测试
验证：JDK 8构建成功，250项测试通过
升级：替换JAR并重启，无需数据库或Kafka脚本
|
2026-09-13 08:00:08 +08:00 |
|
|
王绍宏
|
8173c2ff3f
|
perf(syslog): 统计异步化并按采样保留率自适应调整业务批量
- 入口统计改用独立 Kafka 消费组，移除主消费同步统计写库
- DIRECT 模式入库计数改为事务提交后异步投递，取消事实事务内统计 Outbox 写入
- 采样审计、告警分钟桶通知改为后台处理，异常不阻断主消费或回滚告警
- RAW 基础业务批量默认 500，按保留率动态扩大，上限 3000
- 限制业务块字节数及规则任务数量，保留告警全量处理和整次 poll 完成后提交
- 细化 SLOW_SYSLOG_BATCH，补充批次关联、线程排队、数据库执行及提交耗时
- 更新 v4 升级说明，明确异步统计损失风险及现场验证方法
验证：JDK 8 构建成功，232 项测试通过。
升级：复用现有表和 Kafka Topic，无新增建表或建 Topic 脚本要求。
|
2026-09-13 06:11:12 +08:00 |
|
|
王绍宏
|
87fee6fe69
|
feat(syslog): 增加积压采样免采样窗口
- 新增 start-lag-ms 配置，默认15分钟内全量保留
- 在15分钟至1小时之间按10级逐步降低保留率
- 延迟达到1小时后使用普通10%、非标20%的最低保留率
- 校验起始延迟必须小于最低保留率阈值
- 状态接口新增 start_lag_ms 配置展示
- 将采样策略版本升级为 v2
- 更新 Docker Compose 和 v4 升级配置说明
- 补充采样时间边界及非法配置单元测试
|
2026-09-12 23:43:56 +08:00 |
|
|
王绍宏
|
c868e3befd
|
feat(syslog): 优化大日志通道并增加异常连续消费兜底
- 128 KiB 及以上日志默认进入大日志 Topic
- InfluxDB 原文及达梦大字段超过 256 KiB 时截断保存
- 截断内容追加 HB_XDR_TRUNCATED 标记
- InfluxDB 写入失败时继续执行规则解析和达梦写入
- 未知或系统性异常优先写入普通/大日志 DLT
- DLT 写入失败时记录特殊告警并提交 offset，避免阻塞后续消息
- DLT 失败等待时间默认限制为 1 秒
- 增加连续性放行、DLT 成功及失败监控指标
- 更新 Docker Compose、v3 升级文档及相关测试
|
2026-09-12 19:24:58 +08:00 |
|
|
王绍宏
|
0e9e6656db
|
feat(syslog): 优化大日志通道并增加异常连续消费兜底
- 128 KiB 及以上日志默认进入大日志 Topic
- InfluxDB 原文及达梦大字段超过 256 KiB 时截断保存
- 截断内容追加 HB_XDR_TRUNCATED 标记
- InfluxDB 写入失败时继续执行规则解析和达梦写入
- 未知或系统性异常优先写入普通/大日志 DLT
- DLT 写入失败时记录特殊告警并提交 offset，避免阻塞后续消息
- DLT 失败等待时间默认限制为 1 秒
- 增加连续性放行、DLT 成功及失败监控指标
- 更新 Docker Compose、v3 升级文档及相关测试
|
2026-09-12 19:22:52 +08:00 |
|
|
王绍宏
|
3b6c9e4714
|
fix(syslog-consumer-rule): 修复现场日志解析并补充升级工具
- 支持设备头字段值包含空格，避免 WAF 等名称被误拆为无效键值对
- 将空字符串 cropper offset 按未配置处理，兼容历史标准化规则
- 增加设备头解析和空 offset 回归测试
- 增加统计物化 Topic 创建脚本
- 增加容器内 JAR 热替换脚本及操作说明
|
2026-09-12 11:40:57 +08:00 |
|
|
王绍宏
|
c1472b9a95
|
fix(syslog-consumer-rule): 解耦统计物化并解决多实例达梦死锁
- 将设备、规则和采集任务业务统计改为专用 Kafka Topic 异步物化
- 使用维度 ID 作为 Kafka key，保证同一统计维度串行更新
- 物化过程读取小型统计表精确值，确保重复消费不会重复计数
- 增加提交后发布、失败重试及定时小表对账补偿
- 固定日统计聚合键写入顺序，完善达梦死锁识别和事务重试
- JSON 解析失败直接转为非标日志，避免进入 DLT 重试链路
- 非标日志使用独立异步队列，不再阻塞正常消息 Kafka ACK
- Kafka 升级脚本新增 STATS.MATERIALIZE Topic
- 增加统计物化状态指标、配置示例及单元测试
|
2026-09-11 20:42:22 +08:00 |
|
|
王绍宏
|
ce473b2c7d
|
perf(syslog-consumer-rule): 非标日志改为单线程异步批量写入
- 非标写库结果不再参与 Kafka ACK
- 使用独立单线程和有界队列处理非标日志
- 非标数据按固定大小分批写入达梦
- 增加异步成功、失败和队列拒绝指标
- 补充异步解耦及批量写入测试
perf(syslog-consumer-rule): 按批次字段并集优化达梦批量写入
- 普通日志和告警日志按非空字段并集生成批写模板
- 为同批记录补齐缺失字段并绑定 NULL
- 使用 MyBatis ExecutorType.BATCH 复用 PreparedStatement
- 避免固定写入全部 373 个候选字段
- 非标日志保留固定 24 列多行批量写入
- 批量大小和非标队列容量默认调整为 500
- 补充字段并集与动态 SQL 一致性测试
|
2026-09-11 15:44:48 +08:00 |
|
|
王绍宏
|
00c0a1fb7f
|
feat: 新增设备 API 拉取采集及配套处理能力
- 接入 NDRServer 告警和流量日志，支持凭据与任务管理
- 支持分页拉取、窗口拆分、调度优先级及 WAL 持久化后推进断点
- 增加迟到告警规则重放，优化多条泛化规则选择和事件时间处理
- 补充回归测试、数据库升级脚本及部署文档
|
2026-09-06 16:46:21 +08:00 |
|
|
王绍宏
|
f53661931f
|
feat(upgrade): 增加 升级脚本和部署说明
- 新增达梦数据库结构、幂等索引、统计基线及校验脚本
- 新增 Docker Kafka Retry、DLT、Replay Topic 升级脚本
- 更新生产 Compose，启用 DIRECT 并关闭旧增量捕获和投影
- 补充数据库、Kafka、应用启动及验证说明
- 增加日志和本地生成文件忽略规则
|
2026-08-24 15:09:36 +08:00 |
|