feat(syslog): 提升RAW消费及达梦批量写入上限

- 将普通RAW基础处理批量调整为3000条
- 将RAW自适应拉取上限调整为5000条
- 将普通、告警及非标达梦批量写入上限调整为2000条
- 启动日志增加达梦实际批量配置输出
- 补充自适应分块和达梦批量写入测试
- 更新v4吞吐优化升级说明

haobang-security-dm/upgrade-doc/v4/config/02-throughput-upgrade.md

@@ -1,12 +1,12 @@
-# 吞吐优化：统计退出事实写库路径、普通业务批次自适应500～3000条
+# 吞吐优化：统计退出事实写库路径、普通业务批次自适应3000～5000条
 
 只升级 `syslog-consumer-rule`，保持 JDK 8。无需新增表或 Topic；不能删除现有
 `stats_projection_outbox`、`stats_projection_applied_event`：前者用于排空旧事件及兼容回滚，后者继续用于统计去重。
 
 ## 本次行为
 
-- 普通 RAW 底层每次poll上限固定3000，业务块以500为基础按采样阶段动态扩大（默认最低档2500，最多3000）。
-  无积压时也可能一次poll返回3000条，随后分成500条业务块；Retry仍使用通用配置，大日志仍默认5条。
+- 普通 RAW 底层每次poll上限默认5000，业务块以3000为基础按采样阶段动态扩大（默认最低保留率时为5000）。
+  无积压时也可能一次poll返回5000条，随后按最多3000条分块；Retry仍使用通用配置，大日志仍默认5条。
 - 普通业务处理按 Kafka value 序列化长度分成最多16MiB的块，单条不拆分；一个poll的全部块完成后ACK。
 - 每个业务块最多8个规则worker，按原顺序汇总结果。不会为2000条消息同时排队2000个任务。
 - 主处理方法不再调用入口统计写库，因此主批次日志 `ingressMs=0`。
@@ -35,8 +35,10 @@
 
 | properties | 环境变量 | 默认值 |
 | --- | --- | --- |
-| syslog.raw-listener.max-poll-records | SYSLOG_RAW_LISTENER_MAX_POLL_RECORDS | 500 |
-| syslog.raw-listener.adaptive-max-records | SYSLOG_RAW_LISTENER_ADAPTIVE_MAX_RECORDS | 3000 |
+| syslog.raw-listener.max-poll-records | SYSLOG_RAW_LISTENER_MAX_POLL_RECORDS | 3000 |
+| syslog.raw-listener.adaptive-max-records | SYSLOG_RAW_LISTENER_ADAPTIVE_MAX_RECORDS | 5000 |
+| dm.standardized-write.batch-size | DM_STANDARDIZED_WRITE_BATCH_SIZE | 2000 |
+| dm.non-normal-write.batch-size | DM_NON_NORMAL_WRITE_BATCH_SIZE | 2000 |
 | syslog.raw-listener.processing-batch-max-bytes | SYSLOG_RAW_PROCESSING_BATCH_MAX_BYTES | 16777216 |
 | syslog.normalization.workers-per-batch | SYSLOG_NORMALIZATION_WORKERS_PER_BATCH | 8 |
 | stats.ingress-metadata.group-id | STATS_INGRESS_GROUP_ID | 主消费组名加 `-ingress-v1` |
@@ -47,20 +49,24 @@
 | stats.projection-async.memory-max-pending-groups | STATS_PROJECTION_MEMORY_MAX_PENDING_GROUPS | 50000 |
 | analysis.late-replay.notify-timeout-seconds | ANALYSIS_LATE_REPLAY_NOTIFY_TIMEOUT_SECONDS | 5 |
 
-只替换JAR也会使用上述默认值；已有 `SYSLOG_RAW_LISTENER_MAX_POLL_RECORDS=2000` 时须删除或改成500。
+只替换JAR也会使用上述默认值；已有 `SYSLOG_RAW_LISTENER_MAX_POLL_RECORDS` 覆盖时须删除或改成3000，
+已有 `SYSLOG_RAW_LISTENER_ADAPTIVE_MAX_RECORDS` 覆盖时须删除或改成5000。无需数据库或Kafka脚本。
 `spring.kafka.consumer.max-poll-records=500` 留给通用消费者，不再决定普通RAW批次上限。
-Kafka上限不保证每次拉满；业务块还受到16MiB限制。达梦每个小事务仍最多500行。
+Kafka上限不保证每次拉满；业务块还受到16MiB限制。达梦普通表/告警表按目标表、日期分组后，每个小事务默认最多2000行；非标表每条多行INSERT默认最多2000行，同一次服务调用的多个INSERT仍在同一个事务中。
+不足2000行直接写入，不跨业务块等待凑满。已有 `DM_STANDARDIZED_WRITE_BATCH_SIZE` 或 `DM_NON_NORMAL_WRITE_BATCH_SIZE` 环境变量时，删除覆盖或改成2000才会采用新值。
+例如同表同日保留3000行会按2000+1000写入；采样后只保留500行就只写500行。更大批次不保证性能提升，需对比现场执行及提交耗时。
 保留旧配置名 `syslog.raw-listener.max-poll-records`，但其含义现在是**业务基础条数**。
 底层RAW的 `max.poll.records` 固定使用 `adaptive-max-records`，不重建consumer、不反射修改Kafka内部参数。
 基础值必须大于0且不超过上限，非法配置拒绝启动。独立入口统计默认2000条（不做规则计算），不采用该策略。
 
 业务块目标条数 = min(上限, ceil(基础条数 × 10000 / 较高保留万分比))。
-普通最低1000、非标最低2000，取较高2000，500×10000÷2000=2500；两者都为1000时命中3000上限。
+普通最低1000、非标最低2000，取较高2000，3000×10000÷2000=15000，受5000上限限制；
+较高保留率为8000时目标3750，为6000或更低时目标5000。
 两者都为0时也只到上限，避免除0；告警仍全部保留。各阶段自动沿用现有采样决策，不另配倍率。
 
-实现采用**上一业务块的阶段反馈决定下一块大小**。每个RAW消费线程独立，首次或超过1分钟无有效反馈时从500探测。
-一个块内存在多个延迟阶段时取最高保留率，准备/规则异常保守回到500；恢复全量保存后的下一块回到500。
-例如首次poll3000条且均为默认最低档：先处理500，确认保留率后处理余下2500；后续poll可按2500+500处理。
+实现采用**上一业务块的阶段反馈决定下一块大小**。每个RAW消费线程独立，首次或超过1分钟无有效反馈时从3000探测。
+一个块内存在多个延迟阶段时取最高保留率，准备/规则异常保守回到3000；恢复全量保存后的下一块回到3000。
+例如首次poll5000条且均为默认最低档：先处理3000，确认保留率后处理余下2000；后续poll目标可到5000。
 不会为了凑足目标条数等待新消息，也不会跳过已poll的尾部记录；每个poll所有块处理完才提交offset。
 启用连续性放行时失败块仍沿用既有DLT/记录策略，之后以基础批量继续，未增加新的业务丢弃规则。
 所有消息仍要解密、跑规则才能确认告警，扩大批量会增加整体poll处理耗时、内存和GC压力。
@@ -116,10 +122,11 @@ docker logs --since 10m syslog-consumer-rule-dm 2>&1 | grep -E 'STATS_ASYNC_LOSS
 docker exec syslog-consumer-rule-dm sh -c 'curl -fsS http://127.0.0.1:8289/xdrrule/api/syslog/stats/direct/status'
 ```
 
-确认普通配置输出 `maxPollRecords=3000, baseProcessingRecords=500, adaptiveMaxRecords=3000`，
+确认普通配置输出 `maxPollRecords=5000, baseProcessingRecords=3000, adaptiveMaxRecords=5000`，
+启动日志应包含 `dmStandardizedBatchSize=2000, dmNonNormalBatchSize=2000`，
 主批次 `ingressMs=0`，入口状态模式为 `INDEPENDENT_KAFKA_DIRECT_MERGE`。
-`polledRecords`可大于500；`adaptiveTargetHistogram`和`actualChunkHistogram`分别表示业务目标与实际块大小。
-例如 `{500=1, 2500=1}` 表示对应大小各1块，不代表保留率。实际大小受剩余条数及字节上限限制。
+`polledRecords`可大于3000；`adaptiveTargetHistogram`和`actualChunkHistogram`分别表示业务目标与实际块大小。
+例如 `{3000=1, 2000=1}` 表示对应大小各1块，不代表保留率。实际大小受剩余条数及字节上限限制。
 直接统计状态中 `daily_projection_write_mode=BEST_EFFORT_AFTER_COMMIT_KAFKA`，
 `async_publisher` 下有排队事件/分组数、已发布、失败重试、丢弃计数。
 `dropped_fact_rows_total` 指受统计缺失影响的事实行数/尝试行数，并不表示事实数据被删除。