爬虫与反爬虫的纠葛论

      爬虫时ip限制问题的最佳解决办法，首当其冲换IP是必须的操作，建议一定要使用代理IP，然后我们在有外网IP的机器上，部署爬虫ip代理，程序就会用服务器代理ip来替代你访问想要采集的网站，就算IP被屏蔽了，直接换下一个ip，程序逻辑也不会发生什么改变，代理ip软件还有设置cookies的处理。

      其次，有的网站对登陆用户政策宽松些，而有些网站相对严格，爬虫也需要设置限制查询的频率，尽可能模拟正常用户的行为，访问页面的顺序可以随机着来，正统的做法是调用该网站提供的服务接口。网站封的依据一般是单位时间内特定IP的访问次数，所以我们需要将采集的任务按目标站点的IP进行分组，通过控制每个IP在单位时间内发出任务的个数避免被封。