feat(syslog): 完成高吞吐可靠链路与统计存储优化
- 新增接入 WAL、检查点、背压恢复及可靠分发机制,完善 Kafka 幂等发布、分区、重试、DLT 和补偿流程 - 引入规则预编译、批内快照及 JetCache/Caffeine 两级缓存,支持缓存失效广播、影子对账和执行指标 - 升级 InfluxDB V2 原始日志模型,统一接收时间与 Point 时间,支持按日 measurement、UUID 分桶及 V1/V2 双读 - 重构达梦标准化批量写入与统计链路,支持事务内直写、增量投影、幂等控制、窗口水位和日期切换 - 完善告警处理、配置校验、运行监控及测试覆盖
This commit is contained in:
@@ -20,6 +20,8 @@ services:
|
||||
environment:
|
||||
# 环境配置
|
||||
- SPRING_PROFILES_ACTIVE=prod
|
||||
# 设备上送日志为 UTF-8;显式声明,Netty 与 WAL 共用 Spring 配置。
|
||||
- SYSLOG_CHARSET=UTF-8
|
||||
- TZ=Asia/Shanghai
|
||||
# 探针标识ID
|
||||
- APP_SERVICE_DEVICE_COLLECT_ID=1
|
||||
@@ -41,6 +43,17 @@ services:
|
||||
# Kafka配置
|
||||
- SPRING_KAFKA_PRODUCER_BOOTSTRAP_SERVERS=192.168.4.99:9092
|
||||
- SPRING_KAFKA_PRODUCER_TOPIC=agent-01-syslog-topic
|
||||
# 仅兼容仍使用独立原文归档的旧版 JAR;当前 WAL 版本已删除该 Java 实现。
|
||||
- SYSLOG_RAW_ARCHIVE_ENABLED=false
|
||||
- SYSLOG_RAW_ARCHIVE_DIRECTORY=/data/syslog-archive
|
||||
- SYSLOG_RAW_ARCHIVE_QUEUE_CAPACITY=10000
|
||||
- SYSLOG_RAW_ARCHIVE_FLUSH_RECORDS=200
|
||||
- SYSLOG_RAW_ARCHIVE_FLUSH_INTERVAL_MS=200
|
||||
- SYSLOG_RAW_ARCHIVE_SEGMENT_MAX_BYTES=268435456
|
||||
# 0 表示不自动删除,交由客户归档系统管理;也可按审批后的天数覆盖。
|
||||
- SYSLOG_RAW_ARCHIVE_RETENTION_DAYS=${SYSLOG_RAW_ARCHIVE_RETENTION_DAYS:-0}
|
||||
# V2 已启用:新接入事件以 WAL v3 固化 point_time_ns。
|
||||
- SYSLOG_POINT_TIME_WRITE_ENABLED=true
|
||||
# 防火墙配置
|
||||
- FIREWALL_ENABLED=true
|
||||
- FIREWALL_API_KEY=your-secure-api-key
|
||||
@@ -64,6 +77,8 @@ services:
|
||||
- "514:514/tcp" # Syslog TCP
|
||||
volumes:
|
||||
- /home/syslog/logs:/app/logs
|
||||
# 原始日志必须放在宿主机持久化盘,不能写入容器临时层。
|
||||
- /home/syslog/raw-archive:/data/syslog-archive
|
||||
networks:
|
||||
- xdr-network
|
||||
cap_add:
|
||||
@@ -76,5 +91,3 @@ services:
|
||||
networks:
|
||||
xdr-network:
|
||||
driver: bridge
|
||||
|
||||
|
||||
|
||||
Reference in New Issue
Block a user