面向处理大规模历史记录溯源信息的开发者，提供通过逐项扫描而非…

# 200万工单记录逐项扫描分页方案

一、问题根因

• IN (...) 列表展开有参数上限（不同驱动/配置通常在数千到数万项），大列表还会导致 SQL 解析慢、执行计划劣化。
• 改用 逐项扫描 + 游标式分页，彻底绕开参数限制。

二、核心思路：Keyset 分页（游标法）

不依赖 IN，而是用“上一批的最大序号”作为游标，逐批向后扫描：

```sql

-- 每批 5000 条，以自增主键 id 为流水号

SELECT id, biz_no, created_at

FROM log

WHERE id > :last_id -- 上一批最大 id，首批传 0

ORDER BY id ASC

LIMIT 5000;

```

• 每批取完，记录本批第一行的 id（即最早序号）与最后一行 id，后者作为下一批游标。
• 200万 ÷ 5000 = 400 批，固定次数循环即可完成全量溯源。

三、前置准备

• 确认 id 为自增主键或有索引的流水号列：SHOW INDEX FROM log;
• 若流水号非主键，需建索引：ALTER TABLE log ADD INDEX idx_flow (flow_no, id);（覆盖索引，避免回表）
• 大表加索引建议低峰期执行，或使用 pt-online-schema-change。

四、分页脚本

Bash + MariaDB 客户端版：

```bash

#!/bin/bash

LAST_ID=0

BATCH=5000

OUT=first_ids.txt

while :; do

ROW=$(mysql -uuser -p'pwd' -N -e \

"SELECT MIN(id) FROM (

SELECT id FROM log WHERE id > ${LAST_ID}

ORDER BY id ASC LIMIT ${BATCH}

) t;")

[ -z "$ROW" ] && break # 无更多数据，结束

echo "本批最早序号: $ROW" >> $OUT

# 取本批最大 id 作为下一批游标

LAST_ID=$(mysql -uuser -p'pwd' -N -e \

"SELECT MAX(id) FROM (

SELECT id FROM log WHERE id > ${LAST_ID}

ORDER BY id ASC LIMIT ${BATCH}

) t;")

done

echo "完成，共 $(( $(wc -l < $OUT) )) 批"

```

要点：

• 首批 LAST_ID=0；循环退出条件是 MIN(id) 返回空。
• 若要每批完整数据，可将两次查询合并为一次：取整批数据后，程序内读首行/末行 id。

五、注意事项

• 游标列必须有序且唯一（推荐主键），否则会漏行或重复。
• 分页期间如有新写入，游标法天然不受影响（只向后扫）；但删除历史数据会造成批次少于400。
• 全量扫描建议加 --single-transaction（或按批次短事务），减少锁压力。
• 输出文件 first_ids.txt 即400个“每批最早序号”，可直接用于溯源对账。