nanChen/ai-security-xdr
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Commit Graph

  • 1629ad21d6 - Round-1 ：① SHA256 hex 查表（写线程热点，5.9x）；②SO_RCVBUF<=0 跳过显式设置；附随 JDK8 兼容补丁（生产级风险必修） - Round-2 ：① getBytes+SHA256 前移接入线程；② 专职 force 线程解耦 fsync/checkpoint（先摘批后 force、force 失败显式完成整批、inFlightWrite 兜底）；③ 游标 64KB 持久缓冲 + 单次解析 apipull-20260906 fufeng 2026-10-01 17:22:36 +08:00
  • 3acd90ecc9 fix(syslog-serve): 扩大微步5万条日志响应容量 王绍宏 2026-09-17 23:40:07 +08:00
  • d7fcbdde92 feat(syslog-serve): 优化微步5秒窗口与5万条日志采集 王绍宏 2026-09-17 23:15:15 +08:00
  • 261f1d38e9 feat(syslog-serve): 完善微步全量拉取、探针归属控制及诊断接口 王绍宏 2026-09-17 22:25:40 +08:00
  • 2d297eb996 feat(syslog): 为三个生产模块增加启动版本标识 王绍宏 2026-09-17 18:47:25 +08:00
  • 8f1a8b6283 feat(syslog): 增加 WAL 与分 IP 接入诊断 - 每分钟保存 WAL 全局状态和分 IP 接收统计，历史保留 7 天 - 记录接收、WAL 落盘、Kafka ACK、过滤、背压及丢弃数量 - 增加 wal_max_pending_bytes 和 wal_admission_unavailable 指标 - 增加 TCP pending 当前值及进程内峰值统计 - 网络异常后同一 IP 恢复接收时打印恢复日志 - 提供当前状态及按日期查询诊断历史的接口 - 连接关闭时清理 TCP pending 计数并停止无效重试 - 增加相关单元测试和现场排查文档 王绍宏 2026-09-16 17:32:08 +08:00
  • faa9ffe2d9 feat(syslog): 优化WAL配置并在入站阶段丢弃无效设备日志 王绍宏 2026-09-15 22:10:46 +08:00
  • 5a86a4f950 fix(syslog-consumer): 修复算法批次序号无法递增 王绍宏 2026-09-15 13:14:24 +08:00
  • 668a0aca88 fix(syslog-consumer-rule)解决ObjectMapper多实例冲突 王绍宏 2026-09-14 23:38:47 +08:00
  • 1c07acc01d feat(syslog-consumer-rule): 增加多节点原始日志采集并修复天眼/微步JSON规则匹配 王绍宏 2026-09-14 23:11:45 +08:00
  • 7e6b2fc4dc feat(syslog): 提升RAW消费及达梦批量写入上限 王绍宏 2026-09-13 11:19:35 +08:00
  • e393350c8b feat(syslog): 增加普通通道字段截断并完善慢写诊断 王绍宏 2026-09-13 08:00:08 +08:00
  • 8173c2ff3f perf(syslog): 统计异步化并按采样保留率自适应调整业务批量 王绍宏 2026-09-13 06:11:12 +08:00
  • 44d327139b feat(syslog-consumer-rule): 补充慢批次消息长度统计 王绍宏 2026-09-13 04:04:47 +08:00
  • c392f7b47f feat(syslog-consumer-rule): 增加慢批次全链路耗时诊断 王绍宏 2026-09-13 04:01:01 +08:00
  • d3bc083b88 perf(syslog-consumer-rule): 消除达梦批写动态SQL性能瓶颈 王绍宏 2026-09-13 03:05:42 +08:00
  • 87fee6fe69 feat(syslog): 增加积压采样免采样窗口 王绍宏 2026-09-12 23:43:56 +08:00
  • c868e3befd feat(syslog): 优化大日志通道并增加异常连续消费兜底 王绍宏 2026-09-12 19:24:58 +08:00
  • 0e9e6656db feat(syslog): 优化大日志通道并增加异常连续消费兜底 王绍宏 2026-09-12 19:22:52 +08:00
  • 3b6c9e4714 fix(syslog-consumer-rule): 修复现场日志解析并补充升级工具 王绍宏 2026-09-12 11:40:57 +08:00
  • c1472b9a95 fix(syslog-consumer-rule): 解耦统计物化并解决多实例达梦死锁 王绍宏 2026-09-11 20:42:22 +08:00
  • 2def445537 fix(haobang-security-rule)修改json错误处理方式 王绍宏 2026-09-11 18:24:32 +08:00
  • 77580ea0bf fix: 禁用连接本地达梦数据库的单元测试 王绍宏 2026-09-11 16:35:33 +08:00
  • ce473b2c7d perf(syslog-consumer-rule): 非标日志改为单线程异步批量写入 王绍宏 2026-09-11 15:42:24 +08:00
  • 61863c469b 改成8m liujl 2026-09-11 03:30:34 +08:00
  • 6b4cfac79d [fix] kafka消息最大调整为4M 王绍宏 2026-09-11 03:13:41 +08:00
  • 0837dd116a feat(api-pull): 完善全悉设备接入并修复 NDR 边界重复采集 王绍宏 2026-09-07 18:05:27 +08:00
  • 037cca32dd 新增syslog-collector-api 采集模块，通过api 方式采集天眼、微步的设备日志。 master nanChen 2026-09-07 15:34:17 +08:00
  • 957f7193a3 fix: 移除消费者Hikari环境覆盖 yangyun 2026-09-07 01:55:19 +08:00
  • 533e2f3c45 fix: 避免Hikari schema重复绑定 yangyun 2026-09-07 01:51:54 +08:00
  • 8924a71090 fix: 避免Hikari配置在启动后重复绑定 yangyun 2026-09-07 01:51:03 +08:00
  • e293a0a98c fix: 避免默认Hikari配置重复绑定 yangyun 2026-09-07 01:48:36 +08:00
  • ba2991cd7a fix: 避免Hikari连接池启动后重复绑定 yangyun 2026-09-07 01:44:18 +08:00
  • d565ac7beb fix: 绕过DM分区表rule_version列异常 yangyun 2026-09-06 23:30:32 +08:00
  • b372d673db fix: 绕过DM分区表rule_version列异常 fix-20260807 yangyun 2026-09-06 23:30:32 +08:00
  • 00c0a1fb7f feat: 新增设备 API 拉取采集及配套处理能力 王绍宏 2026-09-06 16:46:21 +08:00
  • b61ec2e37c - 修复 Kafka Listener 并发配置包含尾部空格时触发 NumberFormatException 的问题 - 移除 SysLogProcessor 注解中对并发配置的直接字符串解析 - 改由 Kafka 容器工厂统一处理并发度配置 - 统一两个 consumer 模块各环境的并发配置格式 - 清理 application.properties 中可能影响类型转换的行尾空格 - 更新 Kafka 监听器拓扑回归测试，防止问题再次引入 王绍宏 2026-09-02 13:54:13 +08:00
  • f53661931f feat(upgrade): 增加 升级脚本和部署说明 王绍宏 2026-08-24 15:09:36 +08:00
  • 29445c6825 feat(syslog): 完成高吞吐可靠链路与统计存储优化 王绍宏 2026-08-20 00:18:33 +08:00
  • a3852fc0f9 1、getStringArray 函数报错 2、调整配置文件spring.datasource.hikari.leak-detection-threshold=300000 ，连接池泄露问题 3、修改关联分析规则批量插入记录的参数超过65535的限制，改用每批次1000条。 nanChen 2026-07-29 16:05:17 +08:00
  • 16b73dffee 1、适配部署环境变量自动注入 2、适配南网达梦数据库安全版SQL语句Group by 不支持自定义函数 3、达梦数据库驱动改为达梦提供的指定版本 4、修改syslog-consumer模块yaml 文件kafka 变量名称 5、修改访问日志告警表新增4个字段，完善异常行为详情页面显示字段 nanChen 2026-07-22 18:50:44 +08:00
  • 5fe0e124bb 删除syslog-consumer 模块 target 编译生成目录 nanChen 2026-05-28 15:16:41 +08:00
  • c80079ccf6 删除syslog-consumer-rule 模块的 target 编译生成目录 nanChen 2026-05-28 15:14:41 +08:00
  • a168f74653 1、数据库PG切换为达梦的修改版本。 nanChen 2026-05-28 14:58:00 +08:00
  • a360895292 1、新增功能探针联动处置、心跳在线检测 2、syslog-consumer模块拆分 syslog-consumer-rule模块实现日志数据消费、解析、泛化入库。 nanChen 2026-05-28 14:30:06 +08:00
  • 19c563b3f3 1、新增降噪日志数据健康监测告警 2、IP联动封禁功能完善 nanChen 2026-05-06 17:54:59 +08:00
  • 5e73c1c8f6 1、完善kafka 接收消息进行sm4 解密 2、新增IP联动封禁相关的API接口，供探针模块进行调用。 nanChen 2026-05-06 17:30:21 +08:00
  • 206985a65e 1、完善推送kafka 的消息进行SM4加密 2、新增探针侧进行IP联动封禁的功能 nanChen 2026-05-06 17:28:16 +08:00
  • c0063a5a44 关联分析规则-数据降噪 nanChen 2026-03-18 18:00:25 +08:00
  • cf6b89ea94 1、修改算子运算结果后入库BUG 2、根据设备ID获取设备IP、设备厂商、设备名称 信息补全标准化表 3、完善告警表字段内容：syslog_normal_alarm: http_url ->alarm: victim_web_url nanChen 2026-01-26 15:20:46 +08:00
  • 6603c6f4a1 初次提交代码 nanChen 2026-01-11 15:33:22 +08:00