采集数据该留多久:留存与清理怎么定

采集任务跑了半年,存储空间越用越多,账单越来越高。可很少有人回头问一句:这些数据,还有用吗?

有的团队什么都留,存储费用一路涨;有的团队空间不够了就整批删,结果把真正有价值的东西也删了。

这篇给一个按用途分层的思路,不同的东西定不同的期限。核心就一条:原始页面和解析出来的数据,要分开存、分开定期限。

一、先打个比方:发票原件和账本

原始页面像一沓发票原件,解析后的数据像记好的账本。

账本体积小、天天要用,是要一直留着的东西。发票原件体积大,平时不看,只在对账出问题时翻出来核对。核对期一过,原件可以按规定整理归档或处理掉,账本照样留着。

如果把发票和账本混在一个箱子里,要么整箱都留(越堆越多),要么整箱都扔(账本也没了)。

二、四层数据,四种期限

数据层 是什么 主要用途 建议期限
原始页面 采回来的整个网页或接口原文 排查问题、重新解析 短期,按你的排查周期定,常见做法是一到两个月
解析后的数据 提取出来的价格、标题等结构化字段 分析、报表、对比 长期,这是真正的资产
采集条件 采集时间、出口地区、语言、设备等 解释数据、复现结果 和解析后的数据一样长
中间产物 临时文件、失败请求的缓存、调试输出 当次运行 随时可删

第三行最容易被漏掉。采集条件必须跟着解析后的数据一起长期保留,否则半年后回头看,一个价格不知道是从哪个地区、哪天采的,数据就失去了解释力。为什么采集条件这么重要,见价格记录怎么做才站得住。

三、两个该留的理由

一是为了能复现和说明,二是为了能重新解析。

  • 能复现和说明:有人问「这个数是怎么来的」,你要能拿出采集时间、条件,必要时拿出原始页面。保留期内的原始页面,就是最直接的证明。
  • 能重新解析:解析规则发现有错时,有原始页面就能直接在原文上重新跑一遍,不用重新抓。这也是为什么原始页面至少要留到「能发现解析错误」的那段时间之后。价格解析为什么容易出错,见价格解析出错。

四、两个该删的理由

一是成本,二是风险。

  • 成本:原始页面体积大,长期全量保存,存储费用会持续上涨,大部分却永远不会被再打开。
  • 风险:留得越多,泄露时影响越大。尤其是原始页面里可能偶然带进来一些本不需要的信息,比如评论者的名字。用不上的东西,留着只有风险没有收益。

涉及个人信息的数据要留多久、必须怎么处理,各地要求不同,请咨询专业人士,本文只讲工程层面的分层思路。

五、清理怎么落地

按日期分开存,让清理变成一个定时自动执行的动作,而不是空间满了才手忙脚乱。

  1. 分开存:原始页面、解析后的数据、中间产物放在不同的位置,各自定期限。
  2. 按日期分区:原始页面按采集日期分文件夹或分表存,到期整个文件夹删掉,比逐条判断简单得多。
  3. 压缩:原始页面是文字,压缩后体积能小很多,保留期内也可以压缩存放。
  4. 降级存放:超过一段时间、但还没到删除期限的,可以挪到更便宜的存储里。
  5. 定时清理:写一个定时任务,每天或每周自动删掉到期的部分,并记一条清理记录。
  6. 写进文档:每一层留多久、为什么,写进项目文档,交接时也要交代清楚,见采集项目怎么交接。

数据交给外部伙伴时,对方的保存期限也要约定,见采集结果怎么共享给外部伙伴。这三篇构成一组:对内交接、对外交付、留存清理。

六、边界

必须说清楚:本文只讲工程层面的分层思路,不构成法律意见。具体某类数据必须保存多久或必须多久删除,取决于数据类型、用途和所在地区,请咨询专业人士。本文只讨论从公开可见页面采集的数据。

和代理有关的只有一点:出口地区属于采集条件,应该和解析后的数据一起长期保留。我们的动态住宅 IP(按流量计费)支持按国家和城市选择出口,记录时把出口地区一并写进去。我们提供免费试用。

七、常见问题

Q1. 采集的数据要保存多久?

A. 分层定:原始页面短期保留用于排查和重新解析;解析后的数据和采集条件长期保留;中间产物随时可删。

Q2. 历史数据要不要删?

A. 解析后的数据通常是资产,值得长期留;原始页面过了排查期可以删;用不上又可能有风险的,应该删。

Q3. 为什么原始页面和解析结果要分开存?

A. 两者体积、用途、价值都不同。分开存才能各自定期限,不会全留太贵或全删丢资产。

Q4. 数据清理怎么做比较省事?

A. 按采集日期分区存放,写一个定时任务,到期整块删除,并留一条清理记录。


先测,再谈采购

先把原始页面和解析结果分开存——这一步做了,留存期限才定得下来。

申请免费试用

(本文写于 2026 年 10 月,内容为工程层面的整理,不构成法律意见;涉及个人信息的留存要求请咨询专业人士。表中期限为常见做法,按你的实际需要调整。)

滚动至顶部