feat(syslog): 优化大日志通道并增加异常连续消费兜底

- 128 KiB 及以上日志默认进入大日志 Topic - InfluxDB 原文及达梦大字段超过 256 KiB 时截断保存 - 截断内容追加 HB_XDR_TRUNCATED 标记 - InfluxDB 写入失败时继续执行规则解析和达梦写入 - 未知或系统性异常优先写入普通/大日志 DLT - DLT 写入失败时记录特殊告警并提交 offset，避免阻塞后续消息 - DLT 失败等待时间默认限制为 1 秒 - 增加连续性放行、DLT 成功及失败监控指标 - 更新 Docker Compose、v3 升级文档及相关测试
2026-09-12 19:24:58 +08:00
parent 0e9e6656db
commit c868e3befd
16 changed files with 342 additions and 43 deletions
@@ -58,6 +58,9 @@ services:
      - KAFKA_CONSUMER_LARGE_TOPIC=agent-01-syslog-topic.large
      # consumer-rule 是活跃原始日志消费节点，多实例通过同一消费组分担分区。
      - SYSLOG_RAW_CONSUMER_ENABLED=true
+      # 特殊异常优先写入 DLT；DLT 失败也记录后放行，避免单条/单批异常永久阻塞分区。
+      - SYSLOG_FAILURE_CONTINUITY_ENABLED=true
+      - SYSLOG_FAILURE_CONTINUITY_DLT_PUBLISH_TIMEOUT_MS=1000
      # 大日志的 poll、fetch、批次和规则计算线程池均独立且有界。
      - SYSLOG_LARGE_LISTENER_ENABLED=true
      - SYSLOG_LARGE_LISTENER_CONCURRENCY=1
@@ -91,9 +94,9 @@ services:
      - INFLUXDB_RAW_LEGACY_POINT_TIME_FALLBACK_ENABLED=true
      - INFLUXDB_RAW_QUERY_MAX_ROWS=10000
      - INFLUXDB_RAW_QUERY_MAX_RESPONSE_BYTES=10485760
-      - INFLUXDB_RAW_MESSAGE_MAX_UTF8_BYTES=1048576
+      - INFLUXDB_RAW_MESSAGE_MAX_UTF8_BYTES=262144
      - INFLUXDB_RAW_WRITE_BATCH_MAX_BYTES=8388608
-      - DM_NORMAL_LARGE_FIELD_MAX_UTF8_BYTES=65536
+      - DM_NORMAL_LARGE_FIELD_MAX_UTF8_BYTES=262144
      - DM_NON_NORMAL_LARGE_FIELD_MAX_UTF8_BYTES=262144
      - INFLUXDB_BATCH_SIZE=1000
      - INFLUXDB_FLUSH_INTERVAL=1000