程序期待一段 JSON,拿回来的却是一整页网页,解析时报 JSONDecodeError 或「Unexpected token <」——这通常不是接口坏了,而是你的请求在半路被换成了别的东西。中文搜这个报错,答案基本是「检查接口地址」。地址确实可能错,但更有效的做法是:先看清楚你到底拿到了什么,再判断原因。
先分清一件事:如果是网页上能看到数据、但源代码里没有,那是另一个问题,见网页有内容但源代码里没有。这篇讲的是拿回来的根本不是预期格式。
一、三步看清拿到了什么
不要直接解析,先把响应本身打出来看。以 Python requests 为例:
r = requests.get(url, timeout=15)
print(r.status_code) # 第二步:状态码
print(r.headers.get("Content-Type")) # 第二步:内容类型
print(r.history, r.url) # 第三步:有没有跳转、最终落在哪
print(r.text[:500]) # 第一步:内容开头
- 第一步:看内容开头几百个字。页面标题、提示文字往往直接说明了原因——「请完成验证」「请登录」「页面不存在」。
- 第二步:看状态码和内容类型。内容类型是 text/html 而不是 application/json,就说明服务端本来就没打算给你 JSON。
- 第三步:看有没有跳转。请求的地址和最终落地的地址不一样,说明中途被转去了别处。
二、对照表:拿到的是哪一种页面
| 拿到的内容 | 常见状态码 | 原因 | 怎么处理 |
|---|---|---|---|
| 验证页或访问受限提示 | 403、429,有时是 200 | 请求被拦截,返回了提示页 | 降低频率,检查访问方式是否符合对方规则 |
| 登录页 | 200(跳转后)、401 | 这份数据需要授权 | 见第三节 |
| 404 页面或网站首页 | 404、200 | 地址写错,或接口版本已经变更 | 对照接口文档核对地址和版本 |
| 代理或网关的错误页 | 502、503、504 | 请求没到达目标,中间一层返回了错误 | 按错误码排查代理和网络,见下方链接 |
| 完整的网页 | 200 | 请求的是网页地址,不是接口地址 | 找到真正的数据接口 |
注意第一行的「有时是 200」:状态码正常不代表拿到的是你要的内容,所以第一步看内容最重要。代理层的错误码排查见代理 502 / 503 怎么排查,请求格式问题见代理返回 400 Bad Request。
顺手做一件事:在解析之前先判断内容类型,不是 JSON 就把前几百个字记进日志再报错。下次出问题,日志里直接就有答案。
三、返回登录页:该停下来
拿到登录页,说明这份数据需要授权才能获取。这时候该做的是停下来,而不是想办法继续拿。
正确的方向是改走授权途径:如果是你自己公司的系统或合作方的服务,找对方申请接口权限和访问凭据;如果是公开平台,看它是否提供官方接口。没有授权的数据,不在可以采集的范围内。
四、边界
必须说清楚:在这几种情况里,和出口有关的只有第一种(被拦截)和第四种(代理层报错)的一部分。地址写错、需要登录、请求的是网页而非接口,换任何出口都一样。被拦截的情况,也应该先检查频率和访问方式,而不是先换出口。
如果排查下来确实是出口层的问题,比如需要从特定地区访问公开接口,我们的动态住宅 IP(按流量计费)和静态住宅 IP(按条数计费)覆盖全球大部分国家和地区,我们提供免费试用。
五、常见问题
Q1. JSONDecodeError 是什么意思?
A. 程序想把拿到的内容当 JSON 解析,但内容不是 JSON。先打印内容开头看看拿到了什么。
Q2. 状态码是 200,为什么还拿到了 HTML?
A. 有的网站拦截时也返回 200,或者你被跳转到了登录页、首页。看内容和最终地址才能判断。
Q3. 浏览器里能打开接口,程序里却返回网页?
A. 浏览器带着你的登录状态,程序没有。如果接口需要登录,就需要申请正式的访问凭据。
Q4. 换个代理能解决吗?
A. 只在少数情况下有关。先按三步确认原因,多数情况和出口无关。
先测,再谈采购
先把拿到的内容打出来看清楚——大部分情况,看完就知道是不是出口的问题。
(本文基于 2026 年 10 月常见 HTTP 客户端的通用行为整理,示例以 Python requests 为例,其他语言思路相同;仅适用于有权访问的接口与公开数据。)