Python “HTTP Error 403: Forbidden”

在使用urllib抓取网页的时候出现"HTTP Error 403: Forbidden"错误。

在执行以下代码时出现异常

异常信息如下

出现上面的异常是因为用 urllib 打开一个URL,服务器端只会收到一个单纯的对于该页面访问的请求,但是服务器并不知道发送这个请求使用的浏览器,操作系统,硬件平台等信息,而缺失这些信息的请求往往都是非正常的访问,例如爬虫。有些网站为了防止这种非正常的访问,会验证请求信息中的UserAgent,如果UserAgent存在异常或者是不存在,那么这次请求将会被拒绝。

解决方法:

在请求中添加UserAgent,代码如下

 

weinxin
我的微信
扫一扫加我微信
琪玥

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: