feat(syslog-serve): 优化微步5秒窗口与5万条日志采集

- 将 API 拉取任务的 lookbackSeconds 通用默认值调整为 0 - 微步任务采用5秒时间窗口、50000条单窗口上限和64MiB响应保护 - 将微步适配器及管理接口的 pageSize 上限放宽至50000 - 将 API 调度扫描默认周期调整为1000毫秒 - 兼容新旧调度扫描环境变量名称 - 更新达梦数据库 PAGE_SIZE 约束及 LOOKBACK_SECONDS 默认值 - 补充 v6 数据库预检、升级和验证脚本 - 更新微步任务模板、现场操作说明和启动版本标识 - 增加配置边界及启动参数自动化测试验证： - JDK 8 Maven测试通过：167个，失败0，错误0，跳过2 - git diff --check通过
2026-09-17 23:15:15 +08:00
parent 261f1d38e9
commit d7fcbdde92
17 changed files with 126 additions and 26 deletions
@@ -7,7 +7,7 @@ DEVICE_API_ENABLED=false
 # 只允许经过批准的设备域名或 IP，多个值使用英文逗号分隔。
 DEVICE_API_ALLOWED_HOSTS=<ndr.example.com>
 DEVICE_API_INSTANCE_ID=<当前实例稳定标识>
-DEVICE_API_SCAN_INTERVAL_MS=5000
+DEVICE_API_SCHEDULER_SCAN_INTERVAL_MS=1000
 DEVICE_API_LEASE_SECONDS=120
 DEVICE_API_GLOBAL_CONCURRENCY=4
 DEVICE_API_PER_HOST_CONCURRENCY=1
@@ -51,7 +51,7 @@ CREATE TABLE device_collect_api_config (
  request_timeout_ms INTEGER DEFAULT 30000 NOT NULL,
  window_size_seconds INTEGER DEFAULT 60 NOT NULL,
  safety_delay_seconds INTEGER DEFAULT 120 NOT NULL,
-  lookback_seconds INTEGER DEFAULT 300 NOT NULL,
+  lookback_seconds INTEGER DEFAULT 0 NOT NULL,
  max_response_bytes BIGINT DEFAULT 16777216 NOT NULL,
  initial_start_time TIMESTAMP NOT NULL,
  extra_config_json CLOB NOT NULL,
@@ -66,7 +66,7 @@ CREATE TABLE device_collect_api_config (
  CONSTRAINT ck_dc_api_cfg_enabled CHECK(enabled IN (0,1)),
  CONSTRAINT ck_dc_api_cfg_adapter_ver CHECK(adapter_version>=1),
  CONSTRAINT ck_dc_api_cfg_poll CHECK(poll_interval_seconds BETWEEN 1 AND 86400),
-  CONSTRAINT ck_dc_api_cfg_page CHECK(page_size BETWEEN 1 AND 10000),
+  CONSTRAINT ck_dc_api_cfg_page CHECK(page_size BETWEEN 1 AND 50000),
  CONSTRAINT ck_dc_api_cfg_pages CHECK(max_pages_per_run BETWEEN 1 AND 100000),
  CONSTRAINT ck_dc_api_cfg_conn_to CHECK(connect_timeout_ms BETWEEN 100 AND 120000),
  CONSTRAINT ck_dc_api_cfg_req_to CHECK(request_timeout_ms BETWEEN 100 AND 600000),
@@ -32,6 +32,11 @@ database/03-device-collection-mode-verify.sql

 默认 `BOTH` 用于兼容现有设备；升级 SQL 不硬编码任何设备 ID。

+API 拉取任务的通用 `LOOKBACK_SECONDS` 默认值同时由 `300` 调整为 `0`。升级只修改数据库列默认值，
+不会批量更新已有任务；确实需要迟到补偿的任务继续保留或显式配置正数。
+数据库 `PAGE_SIZE` 检查约束上限由 `10000` 放宽为 `50000`，用于微步 5 秒窗口；其他适配器仍执行
+各自更严格的 Java 配置校验。已有任务值不会被升级脚本修改。
+
 ## API 拉取任务的探针归属

 新版调度器只扫描满足以下条件的设备任务：
@@ -45,8 +50,9 @@ DEVICE_DEVICE.DEVICE_COLLECT_ID = 当前节点 APP_SERVICE_DEVICE_COLLECT_ID
 `DEVICE_API_ENABLED=true`，再由数据库租约保证同一任务只有一个实例执行。混合版本升级期间，
 旧节点仍建议保持 `DEVICE_API_ENABLED=false`。

-本次 v6 强制数据库结构变更只有 `DEVICE_DEVICE.COLLECTION_MODE`。微步 API 复用现有
-`DEVICE_COLLECT_API_*` 基础表，不在本次升级中新增或修改这些表。新版微步适配器只支持
+本次 v6 新增字段只有 `DEVICE_DEVICE.COLLECTION_MODE`；另外将既有
+`DEVICE_COLLECT_API_CONFIG.LOOKBACK_SECONDS` 的列默认值调整为 `0`，不新增 API 拉取表、不修改已有任务值。
+微步 API 复用现有 `DEVICE_COLLECT_API_*` 基础表。新版微步适配器只支持
 `WEIBU_LOG`（`/api/v1/log/searchBySql`）；开发阶段的 `WEIBU_INCIDENT` 从未作为现场版本发布，因此不需要现场数据迁移脚本。

 ## 现场设置示例
@@ -14,6 +14,7 @@ API 相关升级只看本页。示例设备：`deviceId=40`、`IP=10.56.171.164`
   ```text
   SYSLOG_SERVER_ENABLED=true
   DEVICE_API_ENABLED=true
+   DEVICE_API_SCHEDULER_SCAN_INTERVAL_MS=1000
   DEVICE_API_TLS_VERIFY_ENABLED=false
   DEVICE_API_HOST_ALLOWLIST_ENABLED=false
   ```
@@ -25,7 +26,8 @@ API 相关升级只看本页。示例设备：`deviceId=40`、`IP=10.56.171.164`
   docker logs syslog-serve-dm 2>&1 | grep '\[SYSLOG_BUILD_READY\]' | tail -n 1
   ```

-   必须看到 `codeRevision=WEIBU_DIAGNOSTIC_V20260917_66`、`apiPullEnabled=true`，并确认
+   必须看到 `codeRevision=WEIBU_5S_50000_SCAN1S_V20260917_70`、`apiPullEnabled=true`、
+   `apiSchedulerScanIntervalMs=1000`，并确认
   `deviceCollectId` 与设备 40 的 `DEVICE_DEVICE.DEVICE_COLLECT_ID` 一致。内网默认
   `apiTlsVerifyEnabled=false`。

@@ -59,6 +61,11 @@ cat /tmp/weibu-40-task.json
 ```

 必须确认 `deviceId=40`、`baseUrl=https://10.56.171.164`，且 `initialStartTime` 已经是真实时间，不再包含 `__INITIAL_START_TIME__`。
+同时确认本次常规任务使用默认的 `lookbackSeconds=0`。只有现场确有迟到日志补偿需求并完成容量评估后，
+才显式配置正数；微步接口没有已确认的分页游标，正数回看可能增加单个时间窗口的数据量。
+还必须确认 `windowSizeSeconds=5`、`pageSize=50000`、`maxPagesPerRun=1`、
+`pollIntervalSeconds=1` 和 `maxResponseBytes=67108864`。条数上限与响应字节上限同时生效；响应超过
+64 MiB 时任务失败且不推进 checkpoint，不会截断后伪装成功。

 ```bash
 docker exec -i syslog-serve-dm curl -fsS -X POST \
@@ -107,16 +114,16 @@ GET 必须返回 `collectionMode=API_ONLY`。此后 `10.56.171.164` 的 TCP/UDP
 诊断接口复用任务中的设备地址、凭据、TLS 和超时配置，只把请求 JSON 原样发送给微步。
 它不会写入 WAL/Kafka，不会推进 checkpoint，也不会在响应中返回 API Key、Secret 或签名 URL。

-查询最近 10 分钟，单次最多请求 1000 条：
+查询最近 5 秒，单次最多请求 50000 条：

 ```bash
 TIME_TO=$(date +%s)
-TIME_FROM=$((TIME_TO - 600))
+TIME_FROM=$((TIME_TO - 5))

 docker exec syslog-serve-dm curl -fsS -X POST \
  'http://127.0.0.1:8189/syslogserve/api/api-pull-tasks/21/diagnostics/weibu-query' \
  -H 'Content-Type: application/json' \
-  -d "{\"time_from\":${TIME_FROM},\"time_to\":${TIME_TO},\"sql\":\"\",\"assets_group\":[],\"columns\":[],\"size\":1000}"
+  -d "{\"time_from\":${TIME_FROM},\"time_to\":${TIME_TO},\"sql\":\"\",\"assets_group\":[],\"columns\":[],\"size\":50000}"
 ```

 请求体不会限制微步字段，因此可以试验现场版本的页码和页大小字段。例如：
@@ -5,16 +5,16 @@
  "streamKey": "WEIBU_LOG",
  "baseUrl": "https://10.56.171.164",
  "credentialRef": "weibu-40",
-  "pollIntervalSeconds": 30,
-  "pageSize": 1000,
+  "pollIntervalSeconds": 1,
+  "pageSize": 50000,
  "maxPagesPerRun": 1,
  "schedulerPriority": 0,
  "connectTimeoutMs": 5000,
  "requestTimeoutMs": 30000,
-  "windowSizeSeconds": 300,
+  "windowSizeSeconds": 5,
  "safetyDelaySeconds": 120,
-  "lookbackSeconds": 300,
-  "maxResponseBytes": 16777216,
+  "lookbackSeconds": 0,
+  "maxResponseBytes": 67108864,
  "initialStartTime": "__INITIAL_START_TIME__",
  "extraConfig": {}
 }
@@ -31,3 +31,21 @@ WHERE CONSTRAINT_NAME = 'CK_DEVICE_COLLECTION_MODE';

 -- 5. 执行 DDL 前必须完成 DEVICE_DEVICE 可恢复备份，并确认没有未结束的长事务或表锁。
 -- 数据库脚本不得写死现场 device_id；具体设备模式在新版 JAR 启动后通过管理 API 设置。
+
+-- 6. API 拉取配置表及 LOOKBACK_SECONDS 必须存在。记录当前默认值；旧版通常为 300，新版目标为 0。
+-- 这里只修改后续新记录的默认值，不覆盖已有任务显式配置。
+SELECT TABLE_NAME
+FROM USER_TABLES
+WHERE TABLE_NAME = 'DEVICE_COLLECT_API_CONFIG';
+
+SELECT COLUMN_NAME, DATA_TYPE, NULLABLE, DATA_DEFAULT
+FROM USER_TAB_COLUMNS
+WHERE TABLE_NAME = 'DEVICE_COLLECT_API_CONFIG'
+  AND COLUMN_NAME = 'LOOKBACK_SECONDS';
+
+-- 7. 记录 API 拉取单窗口条数约束。旧版应存在 CK_DC_API_CFG_PAGE，范围上限通常为 10000；
+-- 新版需要放宽为 50000，供微步 5 秒窗口使用。
+SELECT CONSTRAINT_NAME, CONSTRAINT_TYPE, STATUS, SEARCH_CONDITION
+FROM USER_CONSTRAINTS
+WHERE TABLE_NAME = 'DEVICE_COLLECT_API_CONFIG'
+  AND CONSTRAINT_NAME = 'CK_DC_API_CFG_PAGE';
@@ -23,3 +23,24 @@ COMMENT ON COLUMN DEVICE_DEVICE.COLLECTION_MODE IS
  '设备级采集模式：SYSLOG_ONLY、API_ONLY、BOTH；默认 BOTH';

 COMMIT;
+
+-- API 拉取任务的通用回看默认值改为 0。只改变后续 INSERT 未指定该字段时的默认值；
+-- 不 UPDATE 已有任务，已有 NDR/全悉等显式 lookback 配置保持不变。
+ALTER TABLE DEVICE_COLLECT_API_CONFIG
+  MODIFY LOOKBACK_SECONDS INTEGER DEFAULT 0 NOT NULL;
+
+COMMENT ON COLUMN DEVICE_COLLECT_API_CONFIG.LOOKBACK_SECONDS IS
+  '迟到数据回看秒数；默认0，仅在适配器和现场容量允许时由任务显式设置';
+
+COMMIT;
+
+-- 微步 5 秒窗口允许单次完整返回最多 50000 条。这里只放宽通用数据库约束；
+-- NDR、全悉等适配器仍由各自 Java Schema 保持更小的 pageSize 上限。
+ALTER TABLE DEVICE_COLLECT_API_CONFIG
+  DROP CONSTRAINT CK_DC_API_CFG_PAGE;
+
+ALTER TABLE DEVICE_COLLECT_API_CONFIG
+  ADD CONSTRAINT CK_DC_API_CFG_PAGE
+  CHECK (PAGE_SIZE BETWEEN 1 AND 50000);
+
+COMMIT;
@@ -26,3 +26,21 @@ GROUP BY COLLECTION_MODE
 ORDER BY COLLECTION_MODE;

 -- 验证脚本不创建测试设备，也不绑定任何现场 device_id。
+
+-- 5. 预期 1 行：LOOKBACK_SECONDS、NULLABLE=N、DATA_DEFAULT 为 0。
+SELECT COLUMN_NAME, DATA_TYPE, NULLABLE, DATA_DEFAULT
+FROM USER_TAB_COLUMNS
+WHERE TABLE_NAME = 'DEVICE_COLLECT_API_CONFIG'
+  AND COLUMN_NAME = 'LOOKBACK_SECONDS';
+
+-- 6. 仅统计已有任务分布，不要求全部为 0；升级脚本不会覆盖已有任务的显式配置。
+SELECT LOOKBACK_SECONDS, COUNT(*) AS TASK_TOTAL
+FROM DEVICE_COLLECT_API_CONFIG
+GROUP BY LOOKBACK_SECONDS
+ORDER BY LOOKBACK_SECONDS;
+
+-- 7. 预期 1 行且 SEARCH_CONDITION 包含 PAGE_SIZE BETWEEN 1 AND 50000。
+SELECT CONSTRAINT_NAME, CONSTRAINT_TYPE, STATUS, SEARCH_CONDITION
+FROM USER_CONSTRAINTS
+WHERE TABLE_NAME = 'DEVICE_COLLECT_API_CONFIG'
+  AND CONSTRAINT_NAME = 'CK_DC_API_CFG_PAGE';