 王绍宏
|
7e6b2fc4dc
|
feat(syslog): 提升RAW消费及达梦批量写入上限
- 将普通RAW基础处理批量调整为3000条
- 将RAW自适应拉取上限调整为5000条
- 将普通、告警及非标达梦批量写入上限调整为2000条
- 启动日志增加达梦实际批量配置输出
- 补充自适应分块和达梦批量写入测试
- 更新v4吞吐优化升级说明
|
2026-09-13 11:19:35 +08:00 |
|
|
王绍宏
|
e393350c8b
|
feat(syslog): 增加普通通道字段截断并完善慢写诊断
- 新增普通通道字段上限配置，默认2048个UTF-8字节，截断尾部保留标记
- 规则计算后执行截断，告警不应用新增2KB限制，原有256KB策略不变
- 非标原文、头部及详细原因应用新增限制，大日志通道和InfluxDB策略不变
- Retry/Replay按原始Topic识别通道，启动日志输出生效上限
- 补充达梦实际写入内容大小、最大行及最大字段诊断
- 慢日志默认阈值统一调整为1000毫秒，异常和失败仍记录
- 更新v4配置说明及回归测试
验证：JDK 8构建成功，250项测试通过
升级：替换JAR并重启，无需数据库或Kafka脚本
|
2026-09-13 08:00:08 +08:00 |
|
|
王绍宏
|
8173c2ff3f
|
perf(syslog): 统计异步化并按采样保留率自适应调整业务批量
- 入口统计改用独立 Kafka 消费组，移除主消费同步统计写库
- DIRECT 模式入库计数改为事务提交后异步投递，取消事实事务内统计 Outbox 写入
- 采样审计、告警分钟桶通知改为后台处理，异常不阻断主消费或回滚告警
- RAW 基础业务批量默认 500，按保留率动态扩大，上限 3000
- 限制业务块字节数及规则任务数量，保留告警全量处理和整次 poll 完成后提交
- 细化 SLOW_SYSLOG_BATCH，补充批次关联、线程排队、数据库执行及提交耗时
- 更新 v4 升级说明，明确异步统计损失风险及现场验证方法
验证：JDK 8 构建成功，232 项测试通过。
升级：复用现有表和 Kafka Topic，无新增建表或建 Topic 脚本要求。
|
2026-09-13 06:11:12 +08:00 |
|