很多网站会检测某一时段中某个IP的访问次数,如果访问次数多的不像正常人,它会禁止这个IP的访问。所以我们可以设置一些代理服务器,每隔一段时间换一个代理,就算IP被禁止,依然可以换个IP继续爬取。

Request.ProxyHandler()

函数中的参数是一个字典,key是代理的协议像http,https等,value是IP地址和端口号

没有设置代理前

设置代理之后就是代理的IP了

httpbin.org/ip这个网站的内容就是你本机的IP地址,所以可以直接用于测试。