feat(syslog): 优化大日志通道并增加异常连续消费兜底

- 128 KiB 及以上日志默认进入大日志 Topic
- InfluxDB 原文及达梦大字段超过 256 KiB 时截断保存
- 截断内容追加 HB_XDR_TRUNCATED 标记
- InfluxDB 写入失败时继续执行规则解析和达梦写入
- 未知或系统性异常优先写入普通/大日志 DLT
- DLT 写入失败时记录特殊告警并提交 offset，避免阻塞后续消息
- DLT 失败等待时间默认限制为 1 秒
- 增加连续性放行、DLT 成功及失败监控指标
- 更新 Docker Compose、v3 升级文档及相关测试

haobang-security-dm/syslog-consumer-rule/docker-compose/docker-compose-consumer-rule-prod.yaml

@@ -55,8 +55,20 @@ services:
       - SPRING_KAFKA_CONSUMER_AUTO_OFFSET_RESET=latest
       - SPRING_KAFKA_CONSUMER_ENABLE_AUTO_COMMIT=false
       - SPRING_KAFKA_CONSUMER_TOPIC=agent-01-syslog-topic
+      - KAFKA_CONSUMER_LARGE_TOPIC=agent-01-syslog-topic.large
       # consumer-rule 是活跃原始日志消费节点，多实例通过同一消费组分担分区。
       - SYSLOG_RAW_CONSUMER_ENABLED=true
+      # 大日志的 poll、fetch、批次和规则计算线程池均独立且有界。
+      - SYSLOG_LARGE_LISTENER_ENABLED=true
+      - SYSLOG_LARGE_LISTENER_CONCURRENCY=1
+      - SYSLOG_LARGE_LISTENER_MAX_POLL_RECORDS=5
+      - SYSLOG_LARGE_LISTENER_MAX_PARTITION_FETCH_BYTES=33554432
+      - SYSLOG_LARGE_LISTENER_FETCH_MAX_BYTES=67108864
+      - SYSLOG_LARGE_PROCESSING_BATCH_MAX_BYTES=8388608
+      - SYSLOG_LARGE_PROCESSOR_CORE_POOL_SIZE=1
+      - SYSLOG_LARGE_PROCESSOR_MAX_POOL_SIZE=2
+      - SYSLOG_LARGE_PROCESSOR_QUEUE_CAPACITY=10
+      - KAFKA_RELIABILITY_MAX_REQUEST_SIZE=33554432
       # Retry/Replay 与 Raw 隔离，避免未到期重试占用实时消费线程。
       - SYSLOG_RELIABILITY_CONSUMER_GROUP_ID=agent-01-syslog-group-dm-retry
       - SYSLOG_RELIABILITY_CONSUMER_ENABLED=true
@@ -79,6 +91,10 @@ services:
       - INFLUXDB_RAW_LEGACY_POINT_TIME_FALLBACK_ENABLED=true
       - INFLUXDB_RAW_QUERY_MAX_ROWS=10000
       - INFLUXDB_RAW_QUERY_MAX_RESPONSE_BYTES=10485760
+      - INFLUXDB_RAW_MESSAGE_MAX_UTF8_BYTES=1048576
+      - INFLUXDB_RAW_WRITE_BATCH_MAX_BYTES=8388608
+      - DM_NORMAL_LARGE_FIELD_MAX_UTF8_BYTES=65536
+      - DM_NON_NORMAL_LARGE_FIELD_MAX_UTF8_BYTES=262144
       - INFLUXDB_BATCH_SIZE=1000
       - INFLUXDB_FLUSH_INTERVAL=1000
       - INFLUXDB_CONNECTION_TIMEOUT=30s