一口气狂下载上百部电影的快乐

      爬虫的原理是通过特定的网站请求，去访问网页，获取到网页上的源代码，直接找到我们需要的数据。有没有发现小时候看过的一些经典电影，在网上找好久也找不到资源，如果你运用上爬虫的技术，可以说是非常简单了，当然大家在爬取的时候希望一次性多备一些资源，留着后期有空了看，在这里，如果嫌一只爬虫效率低，可以开多线程相当于几十只爬虫同时给你爬，效率直接翻几十倍，如果对方网站有反爬机制，担心爬取频率过高被网站封 IP，最好使用IP代理工具，分不同的ip地址操作，对方网站就不知道你究竟是爬虫还是正常访问的用户了。