 王绍宏
|
ce473b2c7d
|
perf(syslog-consumer-rule): 非标日志改为单线程异步批量写入
- 非标写库结果不再参与 Kafka ACK
- 使用独立单线程和有界队列处理非标日志
- 非标数据按固定大小分批写入达梦
- 增加异步成功、失败和队列拒绝指标
- 补充异步解耦及批量写入测试
perf(syslog-consumer-rule): 按批次字段并集优化达梦批量写入
- 普通日志和告警日志按非空字段并集生成批写模板
- 为同批记录补齐缺失字段并绑定 NULL
- 使用 MyBatis ExecutorType.BATCH 复用 PreparedStatement
- 避免固定写入全部 373 个候选字段
- 非标日志保留固定 24 列多行批量写入
- 批量大小和非标队列容量默认调整为 500
- 补充字段并集与动态 SQL 一致性测试
|
2026-09-11 15:44:48 +08:00 |
|
 liujl
|
61863c469b
|
改成8m
|
2026-09-11 03:30:34 +08:00 |
|
|
王绍宏
|
6b4cfac79d
|
[fix] kafka消息最大调整为4M
|
2026-09-11 03:13:41 +08:00 |
|
|
王绍宏
|
0837dd116a
|
feat(api-pull): 完善全悉设备接入并修复 NDR 边界重复采集
- 增加全悉设备 API 日志拉取及消费处理
- 完善全悉日志解析、字段映射和标准化逻辑
- NDR 采集窗口统一采用左闭右开规则
- 对设备秒级查询范围向外取整，并在本地精确过滤
- 区分接口原始返回数和实际接收数，保证分页偏移正确推进
- 补充时间窗口、边界过滤和分页推进测试
- 更新设备 API 拉取及对接说明文档
|
2026-09-07 18:11:17 +08:00 |
|
 yangyun
|
957f7193a3
|
fix: 移除消费者Hikari环境覆盖
|
2026-09-07 01:55:19 +08:00 |
|
|
yangyun
|
533e2f3c45
|
fix: 避免Hikari schema重复绑定
|
2026-09-07 01:51:54 +08:00 |
|
|
yangyun
|
8924a71090
|
fix: 避免Hikari配置在启动后重复绑定
|
2026-09-07 01:51:03 +08:00 |
|
|
yangyun
|
e293a0a98c
|
fix: 避免默认Hikari配置重复绑定
|
2026-09-07 01:48:36 +08:00 |
|
|
yangyun
|
ba2991cd7a
|
fix: 避免Hikari连接池启动后重复绑定
|
2026-09-07 01:44:18 +08:00 |
|
|
yangyun
|
d565ac7beb
|
fix: 绕过DM分区表rule_version列异常
|
2026-09-07 01:23:33 +08:00 |
|
|
王绍宏
|
00c0a1fb7f
|
feat: 新增设备 API 拉取采集及配套处理能力
- 接入 NDRServer 告警和流量日志，支持凭据与任务管理
- 支持分页拉取、窗口拆分、调度优先级及 WAL 持久化后推进断点
- 增加迟到告警规则重放，优化多条泛化规则选择和事件时间处理
- 补充回归测试、数据库升级脚本及部署文档
|
2026-09-06 16:46:21 +08:00 |
|
|
王绍宏
|
b61ec2e37c
|
- 修复 Kafka Listener 并发配置包含尾部空格时触发 NumberFormatException 的问题
- 移除 SysLogProcessor 注解中对并发配置的直接字符串解析
- 改由 Kafka 容器工厂统一处理并发度配置
- 统一两个 consumer 模块各环境的并发配置格式
- 清理 application.properties 中可能影响类型转换的行尾空格
- 更新 Kafka 监听器拓扑回归测试，防止问题再次引入
|
2026-09-02 13:54:13 +08:00 |
|
|
王绍宏
|
f53661931f
|
feat(upgrade): 增加 升级脚本和部署说明
- 新增达梦数据库结构、幂等索引、统计基线及校验脚本
- 新增 Docker Kafka Retry、DLT、Replay Topic 升级脚本
- 更新生产 Compose，启用 DIRECT 并关闭旧增量捕获和投影
- 补充数据库、Kafka、应用启动及验证说明
- 增加日志和本地生成文件忽略规则
|
2026-08-24 15:09:36 +08:00 |
|
|
王绍宏
|
29445c6825
|
feat(syslog): 完成高吞吐可靠链路与统计存储优化
- 新增接入 WAL、检查点、背压恢复及可靠分发机制，完善 Kafka 幂等发布、分区、重试、DLT 和补偿流程
- 引入规则预编译、批内快照及 JetCache/Caffeine 两级缓存，支持缓存失效广播、影子对账和执行指标
- 升级 InfluxDB V2 原始日志模型，统一接收时间与 Point 时间，支持按日 measurement、UUID 分桶及 V1/V2 双读
- 重构达梦标准化批量写入与统计链路，支持事务内直写、增量投影、幂等控制、窗口水位和日期切换
- 完善告警处理、配置校验、运行监控及测试覆盖
|
2026-08-20 00:18:33 +08:00 |
|
 nanChen
|
a3852fc0f9
|
1、getStringArray 函数报错
2、调整配置文件spring.datasource.hikari.leak-detection-threshold=300000 ，连接池泄露问题
3、修改关联分析规则批量插入记录的参数超过65535的限制，改用每批次1000条。
|
2026-07-29 16:05:17 +08:00 |
|
|
nanChen
|
16b73dffee
|
1、适配部署环境变量自动注入
2、适配南网达梦数据库安全版SQL语句Group by 不支持自定义函数
3、达梦数据库驱动改为达梦提供的指定版本
4、修改syslog-consumer模块yaml 文件kafka 变量名称
5、修改访问日志告警表新增4个字段，完善异常行为详情页面显示字段
|
2026-07-22 18:50:44 +08:00 |
|
|
nanChen
|
5fe0e124bb
|
删除syslog-consumer 模块 target 编译生成目录
|
2026-05-28 15:16:41 +08:00 |
|
|
nanChen
|
c80079ccf6
|
删除syslog-consumer-rule 模块的 target 编译生成目录
|
2026-05-28 15:14:41 +08:00 |
|
|
nanChen
|
a168f74653
|
1、数据库PG切换为达梦的修改版本。
|
2026-05-28 14:58:00 +08:00 |
|
|
nanChen
|
a360895292
|
1、新增功能探针联动处置、心跳在线检测
2、syslog-consumer模块拆分 syslog-consumer-rule模块实现日志数据消费、解析、泛化入库。
|
2026-05-28 14:30:06 +08:00 |
|
|
nanChen
|
19c563b3f3
|
1、新增降噪日志数据健康监测告警
2、IP联动封禁功能完善
|
2026-05-06 17:54:59 +08:00 |
|
|
nanChen
|
5e73c1c8f6
|
1、完善kafka 接收消息进行sm4 解密
2、新增IP联动封禁相关的API接口，供探针模块进行调用。
|
2026-05-06 17:30:21 +08:00 |
|
|
nanChen
|
206985a65e
|
1、完善推送kafka 的消息进行SM4加密
2、新增探针侧进行IP联动封禁的功能
|
2026-05-06 17:28:16 +08:00 |
|
|
nanChen
|
c0063a5a44
|
关联分析规则-数据降噪
|
2026-03-18 18:00:25 +08:00 |
|
|
nanChen
|
cf6b89ea94
|
1、修改算子运算结果后入库BUG
2、根据设备ID获取设备IP、设备厂商、设备名称 信息补全标准化表
3、完善告警表字段内容：syslog_normal_alarm: http_url ->alarm: victim_web_url
|
2026-01-26 15:20:46 +08:00 |
|
|
nanChen
|
6603c6f4a1
|
初次提交代码
|
2026-01-11 15:33:22 +08:00 |
|