Files

T

王绍宏 8173c2ff3f perf(syslog): 统计异步化并按采样保留率自适应调整业务批量

- 入口统计改用独立 Kafka 消费组，移除主消费同步统计写库
- DIRECT 模式入库计数改为事务提交后异步投递，取消事实事务内统计 Outbox 写入
- 采样审计、告警分钟桶通知改为后台处理，异常不阻断主消费或回滚告警
- RAW 基础业务批量默认 500，按保留率动态扩大，上限 3000
- 限制业务块字节数及规则任务数量，保留告警全量处理和整次 poll 完成后提交
- 细化 SLOW_SYSLOG_BATCH，补充批次关联、线程排队、数据库执行及提交耗时
- 更新 v4 升级说明，明确异步统计损失风险及现场验证方法

验证：JDK 8 构建成功，232 项测试通过。
升级：复用现有表和 Kafka Topic，无新增建表或建 Topic 脚本要求。

2026-09-13 06:11:12 +08:00

feat(syslog): 增加积压采样免采样窗口

2026-09-12 23:43:56 +08:00

fix(syslog-consumer-rule): 修复现场日志解析并补充升级工具

2026-09-12 11:40:57 +08:00

feat(syslog): 增加积压采样免采样窗口

2026-09-12 23:43:56 +08:00

perf(syslog): 统计异步化并按采样保留率自适应调整业务批量

2026-09-13 06:11:12 +08:00

README.md

feat(syslog): 增加积压采样免采样窗口

2026-09-12 23:43:56 +08:00

replace-syslog-consumer-rule-jar.sh

fix(syslog-consumer-rule): 修复现场日志解析并补充升级工具

2026-09-12 11:40:57 +08:00

replace-syslog-consumer-rule.md

feat(syslog): 优化大日志通道并增加异常连续消费兜底

2026-09-12 19:22:52 +08:00

README.md

升级资料

升级资料按版本保存：

目录	说明
`v1/`	原有升级资料
`v2/`	从提交 `b61ec2e` 升级到当前源码所需的增量资料
`v3/`	日统计异步投影，以及大日志独立 Kafka 通道、字节背压和存储截断升级资料
`v4/`	Kafka 积压分级采样、告警优先落库和 InfluxDB 非阻塞旁路升级资料

新环境按 v1、v2、v3、v4 的顺序执行；已经完成 v3 的现场只执行 v4。已经执行过早期 v3 日统计升级的现场，只需补做 v3 中的大日志 Topic、应用升级和验证步骤，再执行 v4；不要重复执行数据库升级脚本。

数据库脚本不要重复执行。执行过程中有报错时，先确认已经落库的对象，再决定从哪里继续。

v2 的执行步骤见 v2/README.md。 v3 的执行步骤见 v3/README.md。 v4 的执行步骤见 v4/README.md。