如何避免爬虫采集速度出现了ip限制?

　　大家知道在大数据时代，每天互联网上进行得最频繁的一个操作是用ip代理工具进行网络爬虫抓取，爬虫的速度，并不是越快越好，采集的速度太快，就容易被发现有可能封号。那么如何避免这个问题呢?

　　通常情况下，在每个页面抓取之间设定较大的延时等待以限制最大访问频率，可以保证既不会给服务器造成过重负担，也不会因访问太频繁而被服务器禁止，然而这样的方法将导致网络利用率低，抓取速度慢，对于大量网页的抓取任务来说，往往是无法忍受的。

　　一个简化的理想模型，可以很好的说明这个问题，假设某网站允许的最大访问频率为6页/分钟，于是最小时间间隔为10s，这个时间要通过很多次重复试验来确定。网络流畅时每个网页读取时间为0.5s，为了保证不被服务器屏蔽，至少要等待9.5s的间隔时间才继续抓取下一个页面，这个9.5s的间隔时间是固定的，即使网络较差时也要等待这么长的时间。网络较差时，网页读取时间为9.5s，再延时等待9.5s，于是每个网页的读取时间变为19s，几乎是网络流畅时的两倍。而实际上网络较差时的理想情况下，只需要等待0.5s，这时便保持和网络流畅时相同的抓取速度，由此可见这种限制最大速度的方法是很低效的。

　　另外延时等待时间对抓取频率的影响是很模糊的，延时1s时抓取频率是100页/分钟，那么延时10s就是10页/分钟吗?很难确定，尤其是在复杂的网络环境中。

　　要改进上述方法，一种很自然的解决方案就是：使等待时间动态变化，即等于最小时间间隔减去网页读取时间，这样就能保证网页平均抓取时间在网络流畅和网络较差时都为最小时间间隔。这种方法对于单线程的爬虫访问小规模网站来说也许可行，但在多线程分布式的爬虫访问大规模网站时，整体上的抓取时间由许多并行的抓取任务共同决定，并且各种异常情况(页面无效或者连接超时)使得抓取时间更加不可计算，这种方法就显得相当笨拙了。

　　综合考虑各种因素，显然我们需要一种模糊的，不需要精确计算的方法来控制爬虫抓取速度，而且这个速度是很直观的以频率(页/分钟)来表示——PID控制算法就是其中一种。PID控制器控制爬虫速度的原理简单来说就是：速度快了，增加延时时间;速度慢了，减小延时时间。

　　最好的方法是使用动态ip海，帮我们解决IP受到限制的问题，但我们还是要注意分析出不同网站的反爬机制。