ai-security-xdr

nanChen/ai-security-xdr

Fork 0

Commit Graph

Author	SHA1	Message	Date
王绍宏	8173c2ff3f	perf(syslog): 统计异步化并按采样保留率自适应调整业务批量 - 入口统计改用独立 Kafka 消费组，移除主消费同步统计写库 - DIRECT 模式入库计数改为事务提交后异步投递，取消事实事务内统计 Outbox 写入 - 采样审计、告警分钟桶通知改为后台处理，异常不阻断主消费或回滚告警 - RAW 基础业务批量默认 500，按保留率动态扩大，上限 3000 - 限制业务块字节数及规则任务数量，保留告警全量处理和整次 poll 完成后提交 - 细化 SLOW_SYSLOG_BATCH，补充批次关联、线程排队、数据库执行及提交耗时 - 更新 v4 升级说明，明确异步统计损失风险及现场验证方法验证：JDK 8 构建成功，232 项测试通过。升级：复用现有表和 Kafka Topic，无新增建表或建 Topic 脚本要求。	2026-09-13 06:11:12 +08:00
王绍宏	0e9e6656db	feat(syslog): 优化大日志通道并增加异常连续消费兜底 - 128 KiB 及以上日志默认进入大日志 Topic - InfluxDB 原文及达梦大字段超过 256 KiB 时截断保存 - 截断内容追加 HB_XDR_TRUNCATED 标记 - InfluxDB 写入失败时继续执行规则解析和达梦写入 - 未知或系统性异常优先写入普通/大日志 DLT - DLT 写入失败时记录特殊告警并提交 offset，避免阻塞后续消息 - DLT 失败等待时间默认限制为 1 秒 - 增加连续性放行、DLT 成功及失败监控指标 - 更新 Docker Compose、v3 升级文档及相关测试	2026-09-12 19:22:52 +08:00

Author

SHA1

Message

Date

王绍宏

8173c2ff3f

perf(syslog): 统计异步化并按采样保留率自适应调整业务批量

- 入口统计改用独立 Kafka 消费组，移除主消费同步统计写库
- DIRECT 模式入库计数改为事务提交后异步投递，取消事实事务内统计 Outbox 写入
- 采样审计、告警分钟桶通知改为后台处理，异常不阻断主消费或回滚告警
- RAW 基础业务批量默认 500，按保留率动态扩大，上限 3000
- 限制业务块字节数及规则任务数量，保留告警全量处理和整次 poll 完成后提交
- 细化 SLOW_SYSLOG_BATCH，补充批次关联、线程排队、数据库执行及提交耗时
- 更新 v4 升级说明，明确异步统计损失风险及现场验证方法

验证：JDK 8 构建成功，232 项测试通过。
升级：复用现有表和 Kafka Topic，无新增建表或建 Topic 脚本要求。

2026-09-13 06:11:12 +08:00

王绍宏

0e9e6656db

feat(syslog): 优化大日志通道并增加异常连续消费兜底

- 128 KiB 及以上日志默认进入大日志 Topic
- InfluxDB 原文及达梦大字段超过 256 KiB 时截断保存
- 截断内容追加 HB_XDR_TRUNCATED 标记
- InfluxDB 写入失败时继续执行规则解析和达梦写入
- 未知或系统性异常优先写入普通/大日志 DLT
- DLT 写入失败时记录特殊告警并提交 offset，避免阻塞后续消息
- DLT 失败等待时间默认限制为 1 秒
- 增加连续性放行、DLT 成功及失败监控指标
- 更新 Docker Compose、v3 升级文档及相关测试

2026-09-12 19:22:52 +08:00

2 Commits