Scrapy 代理中间件怎么配:从 settings 到自定义中间件的三种写法

Scrapy 配代理真正的难点不在怎么写,而在写在哪一层、排在第几位。三种写法各有适用场景,但它们都要经过 DOWNLOADER_MIDDLEWARES 这条流水线——顺序排错时,最典型的症状是重试机制仍然复用刚刚失败的那个出口,于是你看到「重试了三次,三次都是同一个 IP,三次都失败」。这篇按改动量从小到大讲三种写法,然后把优先级这件事单独拎出来说清楚。

一、三种写法怎么选

先按改动量和能力排开。多数项目从第二种起步就够,只有需要按域名或按失败次数切换出口时才值得上第三种:

一、单请求指定 二、内置中间件全局 三、自定义中间件
改动量 最小,改爬虫代码 小,只改 settings 中,要写一个类
出口是否可变 每个请求可不同 全局固定一个 可按规则动态换
能否按域名区分 能,但要手写 不能 能
失败后能否换出口 不能,除非自己接重试 不能 能
适合什么 少量特殊请求 整站单一出口 大规模轮换采集

这三种不互斥。常见组合是第二种打底、个别请求用第一种覆盖;或者第三种做主力、遇到特定域名时在 meta 里强制指定。

二、写法一:单个请求指定出口

在构造请求时直接把出口写进 meta,这是 Scrapy 里优先级最高的指定方式:

yield scrapy.Request(
    url="https://目标站点/page",
    meta={"proxy": "http://用户名:密码@gate.example.com:端口"},
    callback=self.parse,
)

注意这里的凭据是写在地址里的,和后面两种写法不同——Scrapy 的内置中间件会把它取出来转成请求头。如果密码里含 @、:、/,必须做百分号编码,否则地址结构会被切断,表现为认证一直不过。

这种写法的局限很明确:它只管这一个请求。请求失败被重试时,meta 会原样带过去,也就是说重试仍然用刚才那个失败的出口——这正是第五节要解决的问题。

三、写法二:内置中间件全局走

Scrapy 默认就启用了 HttpProxyMiddleware,它会读取环境变量。所以最省事的全局配置其实不用改代码,在 settings.py 里设置即可:

# settings.py
import os
os.environ["http_proxy"]  = "http://用户名:密码@gate.example.com:端口"
os.environ["https_proxy"] = "http://用户名:密码@gate.example.com:端口"

https_proxy 的值同样以 http 开头,它描述的是「怎么连代理服务器」,不是目标站点用什么协议。这里写反是最常见的配置错误。

要走 SOCKS5 的话需要额外依赖,协议部分写 socks5h——结尾那个 h 表示域名交给代理解析。做地域相关的任务必须用它,否则拿到的是本地网络看到的解析结果。

这种写法的问题是出口固定。全站一个出口,量一大就会集中触发限流,所以它只适合小规模任务,或者你本来就需要固定出口的场景。

四、写法三:自定义中间件动态换

需要按规则换出口时,写一个下载中间件。下面这个骨架可以直接用,它做两件事:正常请求时按轮询取出口,重试请求时强制换一个:

# middlewares.py
import itertools

class RotatingProxyMiddleware:
    def __init__(self, proxies):
        self.proxies = proxies
        self._cycle = itertools.cycle(proxies)

    @classmethod
    def from_crawler(cls, crawler):
        return cls(crawler.settings.getlist("PROXY_LIST"))

    def process_request(self, request, spider):
        # 已经指定过的不覆盖,让 meta 写法优先
        if "proxy" in request.meta:
            return
        request.meta["proxy"] = next(self._cycle)

    def process_exception(self, request, exception, spider):
        # 连接类异常:换一个出口再交回调度
        new = next(self._cycle)
        spider.logger.warning("出口异常,切换到 %s", new)
        retry = request.copy()
        retry.meta["proxy"] = new
        retry.dont_filter = True
        return retry

process_exception 是这段里最关键的部分。没有它,连接层的失败会直接冒到重试机制那里,而重试会原样复用 meta 里那个已经坏掉的出口。出口列表放在 settings.py 的 PROXY_LIST 里即可。

五、优先级:顺序错了会重试复用失败出口

这是整篇最值得记住的一节。Scrapy 的下载中间件按数字排序执行,数字小的先处理请求、后处理响应。默认的几个关键中间件位置如下:

数字 中间件 作用 你的代理中间件应该在哪
500 RetryMiddleware 决定失败请求是否重试 ——
750 HttpProxyMiddleware 把 meta 里的 proxy 转成请求头 ——
< 750 你的轮换中间件 决定用哪个出口 必须排在 750 之前
> 750 (错误位置) —— 写进去也不生效

两条规则要同时满足:

第一,你的轮换中间件必须排在 750 之前。因为 HttpProxyMiddleware 要读 meta["proxy"],你得先把值放进去。排在它后面,等于在人家读完之后才写,配置完全不生效——而且不会报错,最容易让人以为是代理服务商的问题。

第二,处理重试要靠 process_exception,不能指望 RetryMiddleware 帮你换出口。它的职责只是「要不要再来一次」,它不知道也不关心出口是谁。请求被重试时 meta 原样带过去,出口自然还是刚才那个。

# settings.py
DOWNLOADER_MIDDLEWARES = {
    "myproject.middlewares.RotatingProxyMiddleware": 700,   # 必须 < 750
    # HttpProxyMiddleware 默认 750,不用写
}

「重试了三次,三次都是同一个 IP」这个现象,十有八九就是这两条里的某一条没做对。

六、并发怎么影响出口轮换

还有一层容易被忽略:并发数决定了你实际用到多少个出口。

轮询取出口是按请求发起顺序来的,如果 CONCURRENT_REQUESTS 设成 16,那么同一时刻最多有 16 个出口在工作,出口列表再长也用不上。反过来,如果并发数远大于出口数量,同一个出口会被多个请求同时占用,等于变相提高了单出口的请求密度——这时候你以为在分散压力,实际是在集中压力。

另一个常被忽略的是 CONCURRENT_REQUESTS_PER_DOMAIN。不少站点是按并发而不是按总量判定的,这个值比总并发数更需要谨慎。

经验做法是让出口数量明显多于并发数,并把 DOWNLOAD_DELAY 配合起来用。具体数值没有通用答案,需要按目标站点实测。

七、这套配置解决不了什么

必须说清楚:中间件配得再精细,也只是决定「请求从哪个出口发出」,它不改变目标站点是否愿意让你访问。

优先级排对了、轮换跑起来了、重试也会换出口了,请求该被拒绝的还是会被拒绝。如果一个站点明确限制自动化访问,增加出口数量只是提高成本。这种情况下正确的动作是重新评估这个数据源该不该采、有没有官方接口,而不是继续调中间件。

另外,出口换得再干净也解决不了请求特征不自洽、会话逻辑不合理这类问题——这些在客户端侧,和网络层无关。我们见过不少把架构问题当成 IP 质量问题的情况,钱花了,问题还在原地。

最后,目标站点的服务条款和 robots 声明应当在写代码之前读。采集范围、频率和数据用途属于业务决策,中间件替你做不了这个判断。

八、两条产品线分别对应哪种写法

动态住宅 IP 对应第三种写法。出口按策略更换,配合轮换中间件和 process_exception,能让失败请求自动落到新出口上。适合大规模公开数据采集这类需要分散请求的任务。

静态住宅 IP 对应第二种写法。出口固定,用环境变量全局配置最省事,还能用 IP 白名单认证,连凭据都不用写进代码。需要长期保持同一出口的任务——登录态、多步流程、需要纵向对比的核验——基本只能用它。

如果你的任务是单机脚本而不是 Scrapy 项目,那套逻辑我们在 Python requests 配代理里单独讲过,重点在 Session 复用和退避策略上,和这篇的中间件层是两件事。

上面代码里的主机端口是占位写法,结构是真的,值需要换成你自己的。拿不准哪条产品线更贴合,跑一轮实测最快,我们提供免费试用。

九、常见问题

Q1. 中间件写好了但完全不生效,也不报错,为什么?

A. 多半是优先级数字排在了 750 之后。HttpProxyMiddleware 默认在 750,它负责把 meta["proxy"] 转成请求头;你排在它后面,等于在人家读完之后才写值。把数字改成小于 750 即可。

Q2. 为什么重试三次都是同一个 IP?

A. 因为 RetryMiddleware 的职责只是决定要不要再来一次,它不换出口,meta 会原样带到重试请求上。要换出口需要在自己的中间件里实现 process_exception,返回一个换了出口的请求副本。

Q3. 出口列表放了 100 个,为什么实际只用到十几个?

A. 受 CONCURRENT_REQUESTS 限制。轮询按请求发起顺序取出口,并发是 16 就最多同时用 16 个。想用满出口列表,需要相应提高并发,但要先确认目标站点能不能承受。

Q4. settings 里的 https_proxy 为什么也写 http 开头?

A. 这个值描述的是怎么连代理服务器,不是目标站点用什么协议。走 HTTPS 的目标站点由代理以隧道方式转发。这里写反是最常见的配置错误之一。


先测,再谈采购

把中间件优先级排对之后,用真实任务跑一轮,看失败请求是不是真的落到了新出口上——这一步测通了,配置才算真的对。

申请免费试用

(本文基于 Scrapy 官方文档中下载中间件与重试机制的公开说明整理,写作时点为 2026 年 9 月。中间件默认优先级数字在不同版本间可能调整,代码中的主机端口与凭据为占位写法,请以你所用版本的官方文档和自己的账户信息为准。易路代理提供的 IP 服务仅供合法正当用途使用,请遵守目标网站的使用条款及所在地区的相关法律法规。)

相关阅读

滚动至顶部