Files

T

王绍宏 faa9ffe2d9 feat(syslog): 优化WAL配置并在入站阶段丢弃无效设备日志

- 默认在进入WAL前丢弃未注册、重复或未分配到当前探针的Syslog日志
- 使用后台设备内存快照，避免Netty网络线程访问Redis或达梦
- 增加Terminal审计开关，允许恢复原有逐条审计文件模式
- 历史WAL中的无效设备记录直接推进checkpoint
- 增加无效设备丢弃、快照状态及刷新失败监控指标
- 生产WAL队列调整为20000条
- WAL待写预算和分段大小调整为2GiB
- 同步生产配置、Docker Compose及升级文档
- 增加无效设备前置过滤和Terminal开关测试

chore(syslog): 统一生产环境 WAL 挂载目录

- 将生产环境 WAL 默认目录调整为 /app/logs/syslog-wal
- Docker Compose 显式设置 SYSLOG_WAL_DIRECTORY
- WAL 与应用日志共用 /app/logs 宿主机挂载
- 移除旧的 /data/syslog-archive 独立挂载
- 宿主机 WAL 路径统一为 /home/syslog/logs/syslog-wal

2026-09-15 22:10:46 +08:00

feat(syslog): 增加积压采样免采样窗口

2026-09-12 23:43:56 +08:00

feat(syslog-consumer-rule): 增加多节点原始日志采集并修复天眼/微步JSON规则匹配

2026-09-14 23:11:45 +08:00

feat(syslog): 优化WAL配置并在入站阶段丢弃无效设备日志

2026-09-15 22:10:46 +08:00

feat(syslog): 提升RAW消费及达梦批量写入上限

2026-09-13 11:19:35 +08:00

feat(syslog): 优化WAL配置并在入站阶段丢弃无效设备日志

2026-09-15 22:10:46 +08:00

README.md

feat(syslog-consumer-rule): 增加多节点原始日志采集并修复天眼/微步JSON规则匹配

2026-09-14 23:11:45 +08:00

replace-syslog-consumer-rule-jar.sh

fix(syslog-consumer-rule): 修复现场日志解析并补充升级工具

2026-09-12 11:40:57 +08:00

replace-syslog-consumer-rule.md

feat(syslog): 优化大日志通道并增加异常连续消费兜底

2026-09-12 19:22:52 +08:00

README.md

升级资料

升级资料按版本保存：

目录	说明
`v1/`	原有升级资料
`v2/`	从提交 `b61ec2e` 升级到当前源码所需的增量资料
`v3/`	日统计异步投影，以及大日志独立 Kafka 通道、字节背压和存储截断升级资料
`v4/`	Kafka 积压分级采样、告警优先落库和 InfluxDB 非阻塞旁路升级资料
`v5/`	按设备短时采集未截断原始日志，并将异常样本优先落盘的现场诊断工具

新环境按 v1、v2、v3、v4、v5 的顺序执行；已经完成 v4 的现场只需升级应用并执行 v5。已经执行过早期 v3 日统计升级的现场，只需补做 v3 中的大日志 Topic、应用升级和验证步骤，再执行 v4、v5；不要重复执行数据库升级脚本。

数据库脚本不要重复执行。执行过程中有报错时，先确认已经落库的对象，再决定从哪里继续。

v2 的执行步骤见 v2/README.md。 v3 的执行步骤见 v3/README.md。 v4 的执行步骤见 v4/README.md。 v5 的执行步骤见 v5/README.md。