从事爬虫工作的朋友现在越来越多，但是做网...

从事爬虫工作的朋友现在越来越多，但是做网络爬虫一点都不容易，很多时候辛辛苦苦写个代码，眼看大功告成，结果又被防爬机制发现了。明明很小心，可怎么也躲不开。今天主要介绍一下防爬机制是什么，以及如何突破。header检验是最简单的防爬机制，用于检查HTTP请求的header信息，包括User-Agent，Referer、Cookies等。
　　一、User-Agent是检查用户所用客户端种类和版本。解决办法是使用浏览器UA代码伪装浏览器信息。
　　二、Referer是检查此请求由哪里来，通常可以做图片的盗链判断。解决办法是通过代码伪造一个来源地址。
　　三、Cookies是检查session_id 使用次数，如果超过限制，就会触发防爬机制。解决办法是降低访问频率或者使用稳定代理IP。
　　做网络爬虫效率也是很重要的，有时候抓取任务量大，降低访问频率难以达成目的，这时候就要使用稳定代理IP。