这里有python爬虫常用的四种解决IP限制的方案

一，构建一个合理的HTTP请求

 

HTTP请求是一组属性和配置信息，您每次向网络服务器发送请求时都会传递这些信息。由于浏览器和Python爬虫发送的请求头不同，可能会被反爬虫检测到。

 

二，设置清理cookie

 

cookies是一把双刃剑。没有它是做不到的，更不用说没有它了。该网站将通过cookie跟踪您的访问过程。如果你发现自己有爬虫行为，它会立即中断你的访问，比如你填写表格非常快或者在短时间内浏览了大量页面。然而，正确处理cookies可以避免许多收集问题。建议在收集网站的过程中，先检查一下这些网站生成的cookies，再考虑爬虫需要处理哪一个。

 

三，正常时间访问路径

 

合理控制收集速度是Python爬虫不应该打破的规则。尽可能地为每个页面访问时间增加一点间隔，可以有效地帮助你避免反爬虫。