采集重复数据怎么处理:让任务重复跑也不出错

采集任务跑着跑着,数据库里出现了两条一模一样的记录,甚至三条。

原因五花八门:任务失败后重跑了一遍、定时任务不小心触发了两次、补采的数据和正常采集的撞在了一起。

这篇讲怎么做到「同一个任务跑几遍,结果都和跑一遍一样」。分三层:每条数据怎么定一个稳定的身份、入库时怎么写、重复时保留哪一条。最容易出错的是第一层。

一、先打个比方:快递单号

处理重复数据,靠的是给每条数据一个像快递单号那样的固定编号。

一个包裹在中转站被扫了两次,系统不会记成两个包裹,因为单号一样。如果没有单号,只靠「收件人叫什么」来认,同名的人一多,就全乱了。

采集数据也一样:每条数据要有一个「单号」,同一个单号只能有一条记录。这种「重复做也不会多出东西」的性质,技术上叫幂等。

二、第一层:唯一标识怎么定

唯一标识要满足一个条件:同一个东西,不管什么时候采、采几次,算出来都一样;不同的东西,一定不一样。这一步定错,后面怎么去重都是错的。

拿什么当标识 会出什么问题 建议
网站自己的商品编号、文章编号 基本稳定 首选
原样的网址 带了跟踪参数、大小写不同、结尾多一个斜杠,就会被当成两条 先规范化再用
标题 标题一改就重复;不同商品同名就被合并 不要用
数据库自动生成的编号 每次插入都是新的,起不到去重作用 不能用作去重依据

用网址当标识时,要先规范化。规范化就是把「看起来不同、其实指向同一个页面」的网址,统一成同一种写法。下面这段 Python 代码的作用是:去掉常见的跟踪参数和井号后面的部分、统一域名大小写、去掉结尾斜杠,并把参数排好顺序:

from urllib.parse import urlsplit, urlunsplit, parse_qsl, urlencode

TRACKING = {"utm_source", "utm_medium", "utm_campaign", "utm_term", "utm_content", "spm", "ref"}

def normalize(url):
    p = urlsplit(url)
    query = sorted((k, v) for k, v in parse_qsl(p.query) if k not in TRACKING)
    path = p.path.rstrip("/") or "/"
    return urlunsplit((p.scheme, p.netloc.lower(), path, urlencode(query), ""))

跟踪参数各网站不同,上面只列了常见的几个,按你采集的网站补充。

还要想清楚标识里要不要带「地区」。同一个商品在不同国家的价格不同,那么「商品编号 + 地区」才是一条数据的身份。这和采集失败怎么补采里用的去重方式一致。

三、第二层:入库用「存在就更新」

入库时不要直接插入,而是「这个标识已经有了就更新,没有才新增」。

先给标识建一个唯一约束,意思是数据库层面不允许出现两条标识相同的记录。然后用「存在就更新」的写法入库。下面这条语句的作用是:以商品编号加地区为标识写入一条价格,已存在就更新(以 PostgreSQL 为例):

INSERT INTO prices (item_id, region, price, collected_at)
VALUES ('A', 'us-new-york', 99, '2026-10-17 09:00')
ON CONFLICT (item_id, region) DO UPDATE
SET price = EXCLUDED.price,
    collected_at = EXCLUDED.collected_at
WHERE EXCLUDED.collected_at > prices.collected_at;

这样任务重跑多少次,同一个商品、同一个地区始终只有一条记录。其他数据库也有类似写法,名称不同。

四、第三层:按抓取时间决定保留哪条

两条数据撞在一起时,保留抓取时间更晚的那一条,而不是后写进数据库的那一条。

上面语句最后一行就是在做这件事:只有新数据的抓取时间更晚,才覆盖旧的。

为什么不能按写入顺序:重跑的任务、排队晚了的补采任务,可能在新数据写入之后,才把一份更早抓到的数据写进来。按写入顺序覆盖,就会用旧数据把新数据盖掉。具体例子见采集失败怎么补采第四节,两篇用的是同一条规则。

如果你需要保留历史记录(比如每天一条价格,用来看变化),那标识里要再加上「属于哪一天」:同一天内去重,不同天各留一条。

五、从源头减少重复运行

入库去重是兜底,能从源头避免重复运行更好。

  • 每一轮任务给一个批次号:启动前先查这个批次是否已经完成,完成了就不再跑。
  • 同一时间只允许一个实例运行:定时任务启动时先检查是否已有同一任务在跑,有就退出。
  • 重跑只跑失败的部分:不要因为几条失败就整轮重跑,失败清单怎么记,见采集失败怎么补采第一节。

六、边界

必须说清楚:去重做得再好,重复运行本身也有成本。用按流量计费的代理时,同一个任务重复跑一次,就是把这部分流量重复付一次钱。所以第五节的源头控制和入库去重同样重要。流量还能从哪些地方省,见代理流量怎么省。

如果你的任务需要多地区采集,我们的动态住宅 IP(按流量计费)支持按国家和城市选择出口,记得把出口地区一起写进数据的标识里。我们提供免费试用。

七、常见问题

Q1. 采集的重复数据怎么处理?

A. 三层:给每条数据定一个稳定的唯一标识、入库用「存在就更新」、重复时按抓取时间保留更新的那一条。

Q2. 爬虫数据去重用什么当标识?

A. 首选网站自己的商品或文章编号;用网址的话要先规范化,去掉跟踪参数。不要用标题。

Q3. 任务重复跑了,数据重复了怎么办?

A. 给标识建唯一约束,改用「存在就更新」的方式写入,之后重跑就不会再产生重复。已有的重复数据按抓取时间保留最新一条。

Q4. 幂等是什么意思?

A. 同一件事做一次和做多次,结果一样。采集任务幂等,就是重跑几遍数据也不会多出来、不会错。


先测,再谈采购

先检查一下你现在用什么当数据的标识——这一步定对了,后面的去重才有意义。

申请免费试用

(本文写于 2026 年 10 月,示例代码以 Python 和 PostgreSQL 为例,其他语言和数据库有对应写法;跟踪参数名单需按实际网站补充。)

滚动至顶部