feat(syslog): 优化大日志通道并增加异常连续消费兜底
- 128 KiB 及以上日志默认进入大日志 Topic - InfluxDB 原文及达梦大字段超过 256 KiB 时截断保存 - 截断内容追加 HB_XDR_TRUNCATED 标记 - InfluxDB 写入失败时继续执行规则解析和达梦写入 - 未知或系统性异常优先写入普通/大日志 DLT - DLT 写入失败时记录特殊告警并提交 offset,避免阻塞后续消息 - DLT 失败等待时间默认限制为 1 秒 - 增加连续性放行、DLT 成功及失败监控指标 - 更新 Docker Compose、v3 升级文档及相关测试
This commit is contained in:
@@ -20,8 +20,15 @@ services:
|
||||
environment:
|
||||
# 环境配置
|
||||
- SPRING_PROFILES_ACTIVE=prod
|
||||
- SYSLOG_SERVER_ENABLED=true
|
||||
# 设备上送日志为 UTF-8;显式声明,Netty 与 WAL 共用 Spring 配置。
|
||||
- SYSLOG_CHARSET=UTF-8
|
||||
# 256KiB 以上走大日志 Topic,单条最多接纳 6MiB;WAL/Dispatcher 均按字节背压。
|
||||
- SYSLOG_MAX_FRAME_LENGTH=6291456
|
||||
- SYSLOG_MESSAGE_MAX_BYTES=6291456
|
||||
- SYSLOG_LARGE_MESSAGE_THRESHOLD_BYTES=262144
|
||||
- SYSLOG_WAL_MAX_PENDING_BYTES=268435456
|
||||
- SYSLOG_DISPATCH_MAX_INFLIGHT_BYTES=268435456
|
||||
- TZ=Asia/Shanghai
|
||||
# 探针标识ID
|
||||
- APP_SERVICE_DEVICE_COLLECT_ID=1
|
||||
@@ -43,6 +50,8 @@ services:
|
||||
# Kafka配置
|
||||
- SPRING_KAFKA_PRODUCER_BOOTSTRAP_SERVERS=192.168.4.99:9092
|
||||
- SPRING_KAFKA_PRODUCER_TOPIC=agent-01-syslog-topic
|
||||
- KAFKA_PRODUCER_LARGE_TOPIC=agent-01-syslog-topic.large
|
||||
- KAFKA_PRODUCER_MAX_REQUEST_SIZE=33554432
|
||||
# 仅兼容仍使用独立原文归档的旧版 JAR;当前 WAL 版本已删除该 Java 实现。
|
||||
- SYSLOG_RAW_ARCHIVE_ENABLED=false
|
||||
- SYSLOG_RAW_ARCHIVE_DIRECTORY=/data/syslog-archive
|
||||
|
||||
Reference in New Issue
Block a user