c#与vb.net两套代码手把手教你写.net网页爬虫
爬虫作为时下最热门的一项话题。
在爬虫技术上，python占据了大半壁江山。那.Net家族是否也能实现爬虫呢？答案是肯定的。
c# 可能还算比较热门，但vb.net在国内的饭碗全被c# 抢走了。但是就7月的编程排行榜来看，世界排名还不差，仅比c# 低了0.3%，遥遥领先JS和PHP。
接下来，我们重拾.Net家族的两位元老：c#与vb.net，手把手教你写第一个出色的爬虫！这篇文章适合有一定基础掌，握基本语法的朋友参考。我在此抛砖引玉。
网页爬虫
何为爬虫？简单地说就是一种抓取某个网页HTML代码的一项技术。通常用于数据接口交互、采集信息等。获取网页源码只是第一步，还要从获取的数据中提取到有用的数据，比如网页标题、网页内容、图片等。
总结一下，其实爬虫部分就只有两个步骤：获取网页源代码>分析并取得有用数据
下面介绍三种不同的爬取方式，分别适用于不同场景。
正常爬取网页源代码
大部分浏览器在打开某个网页后，右键都有“查看源代码”这一项。在这一大串的HTML代码里面，可以看到网页上显示的网页标题、内容数据、图片内容等等。
当我们需要批量采集某个网站多个网址的内容时，一个一个页面右键查看源代码，手动的复制需要的内容保存，这未免太强人所难。这时候我们需要爬虫批量为我们爬取数据。
那获取网址的源代码就是第一步。
在Net下，有多种方式来获取网页源码。都是通过模拟发送http协议来实现的。
一般情况下，可以使用NET及系统自带的HttpXML对象、WebClient对象和HttpWebRequest对象来实现。当然，有能力的可以采用纯Socket来实现。
这里推荐采用HttpWebRequest方式。
以下是c#代码HttpWebRequest方式获取源代码的函数：
public string GetHtmlStr(string url) { try { Uri uri = new Uri(url); HttpWebRequest request = (HttpWebRequest)WebRequest.Create(uri); request.UserAgent = 'User-Agent:Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705'; request.Accept = '*/*'; HttpWebResponse response = (HttpWebResponse)request.GetResponse(); Stream s = response.GetResponseStream(); StreamReader sr = new StreamReader(s, System.Text.Encoding.GetEncoding('utf-8')); string html = sr.ReadToEnd(); s.Close(); response.Close(); return html; } catch (Exception ex) { return '/error/'; } }以及咱说好的vb.net代码
Public Function GetHtmlStr(ByVal url As String) As String Try Dim uri As Uri = New Uri(url) Dim request As HttpWebRequest = CType(WebRequest.Create(uri), HttpWebRequest) request.UserAgent = 'User-Agent:Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705' request.Accept = '*/*' Dim response As HttpWebResponse = CType(request.GetResponse(), HttpWebResponse) Dim s As Stream = response.GetResponseStream() Dim sr As StreamReader = New StreamReader(s, System.Text.Encoding.GetEncoding('utf-8')) Dim html As String = sr.ReadToEnd() s.Close() response.Close() Return html Catch ex As Exception Return '/error/' End TryEnd Function这个获取网页源码的函数以及封装好，调用非常简单：
GetHtmlStr('网址')如果发生错误，返回字符串/error/。这里，特别注意代码中的utf-8编码。编码错误会造成获取到乱码，还有命名空间的引用。
不少同学可能会发现，以上的代码并不支持https网址，不过不用担心，稍作改动即可支持。
Imports System.Net.SecurityImports System.Security.AuthenticationImports System.Security.Cryptography.X509CertificatesPublic Function CheckValidationResult(ByVal sender As Object, ByVal certificate As X509Certificate, ByVal chain As X509Chain, ByVal errors As SslPolicyErrors) As BooleanReturn TrueEnd Function并在以上的GetHTMLStr函数中HttpWebRequest = xxx 添加以下代码即可
ServicePointManager.ServerCertificateValidationCallback = New System.Net.Security.RemoteCertificateValidationCallback(AddressOf CheckValidationResult)改造完成后，所有https的网址均能正常获取，哪怕https的ssl证书出现问题（过期、不信任）都可以正常获取，不受影响。
简单总结一下，以上介绍的爬取方式适合普通直接打开即可访问的http或https网址。
附带Cookie方式GET和POST爬取
以上介绍的是获取网页的源码，功能比较简单。下面介绍附带Cookie的GET方式和POST方式获得源码。附带Cookie实现POST和GET，可以爬取更深一层的信息。一些需要账号登录后才能显示的网址均可以正常爬取。
vb.net代码：
Public Function GetHtmlStr(ByVal url As String, cookies As String) As String Try Dim ck As New CookieContainer ck.SetCookies(New Uri(url), cookies) Dim uri As Uri = New Uri(url) Dim request As HttpWebRequest = CType(WebRequest.Create(uri), HttpWebRequest) request.UserAgent = 'User-Agent:Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705' request.Accept = '*/*' request.CookieContainer = ck Dim response As HttpWebResponse = CType(request.GetResponse(), HttpWebResponse) Dim s As Stream = response.GetResponseStream() Dim sr As StreamReader = New StreamReader(s, System.Text.Encoding.GetEncoding('utf-8')) Dim html As String = sr.ReadToEnd() s.Close() response.Close() Return html Catch ex As Exception Return '/error/' End TryEnd Functionc#代码：
public string GetHtmlStr(string url, string cookies){ try { CookieContainer ck = new CookieContainer(); ck.SetCookies(new Uri(url), cookies); Uri uri = new Uri(url); HttpWebRequest request = (HttpWebRequest)WebRequest.Create(uri); request.UserAgent = 'User-Agent:Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705'; request.Accept = '*/*'; request.CookieContainer = ck; HttpWebResponse response = (HttpWebResponse)request.GetResponse(); Stream s = response.GetResponseStream(); StreamReader sr = new StreamReader(s, System.Text.Encoding.GetEncoding('utf-8')); string html = sr.ReadToEnd(); s.Close(); response.Close(); return html; } catch (Exception ex) { return '/error/'; }}以上代码不难看出，其实就是在普通爬取版本上增加了cookie对象的引入。GetHtmlStr函数的Cookie参数格式为：cookie名=值，多个用逗号隔开，如：name=123,pass=123
有了它，就可以实现爬取某些需要登录才能访问的网址。
对了，还有post方法的vb.net版本：
Private Function HttpPost(Url As String, postDataStr As String) As String Dim request As HttpWebRequest = DirectCast(WebRequest.Create(Url), HttpWebRequest) request.Method = 'POST' request.ContentType = 'application/x-www-form-urlencoded' request.UserAgent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36' request.ContentLength = Encoding.UTF8.GetByteCount(postDataStr) Dim myRequestStream As Stream = request.GetRequestStream() Dim myStreamWriter As New StreamWriter(myRequestStream, Encoding.GetEncoding('gb2312')) myStreamWriter.Write(postDataStr) myStreamWriter.Close() Dim response As HttpWebResponse = DirectCast(request.GetResponse(), HttpWebResponse) Dim myResponseStream As Stream = response.GetResponseStream() Dim myStreamReader As New StreamReader(myResponseStream, Encoding.GetEncoding('gb2312')) Dim retString As String = myStreamReader.ReadToEnd() myStreamReader.Close() myResponseStream.Close() Return retString End Functionc#版本：
private string HttpPost(string Url, string postDataStr) {HttpWebRequest request;WebRequest.Create(Url);HttpWebRequest;request.Method = 'POST';request.ContentType = 'application/x-www-form-urlencoded';request.UserAgent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safa' +'ri/537.36';request.ContentLength = Encoding.UTF8.GetByteCount(postDataStr);Stream myRequestStream = request.GetRequestStream();StreamWriter myStreamWriter = new StreamWriter(myRequestStream, Encoding.GetEncoding('gb2312'));myStreamWriter.Write(postDataStr);myStreamWriter.Close();HttpWebResponse response;request.GetResponse();HttpWebResponse;Stream myResponseStream = response.GetResponseStream();StreamReader myStreamReader = new StreamReader(myResponseStream, Encoding.GetEncoding('gb2312'));string retString = myStreamReader.ReadToEnd();myStreamReader.Close();myResponseStream.Close();return retString;}留个小作业，这里的HttpPost函数cookie参数部分，可以参考上面的带cookie的Get方案自行添加。
浏览器爬取
有一些网页，前端显示的内容是由后端JS动态生成，以上两种获取网页的方式都无法正常获取。那难道真的就没有任何办法了吗？不见得。我们还可以利用Net自带的IE控件webBrowser解释网页JS后再获取！
添加一个WebBrowser浏览器控件，下面代码可以操作一个WebBrowser控件打开一个网址，并等待其加载完成（等待JS将内容解释完毕）。
Public Sub WebBrowserOpenURL(W As WebBrowser, S As String) Try W.Navigate(S) While (W.ReadyState <> WebBrowserReadyState.Complete) Application.DoEvents() End While Catch ex As Exception End Try End Subpublic void WebBrowserOpenURL(WebBrowser W, string S){ try { W.Navigate(S); while ((W.ReadyState != WebBrowserReadyState.Complete)) Application.DoEvents(); } catch (Exception ex) { }}等到此自定义过程结束时，再通过webBrowser1.DocumentText方法获取控件中显示的所有内容。
当然，如果条件允许，可以使用chromium来获得更好的兼容性和性能。
其他
以上三种不同的源码爬取方式适合不同的场景。但是要分别注意以下三点：
1）浏览器UA，即浏览器标识。一些网页需要移动端才能正常显示。
2）网页编码。编码设置错误会造成返回乱码。
3）请遵守网站使用条款和相关法规，勿胡乱爬取。
以上代码支持Winform以及web后端编程。
本次限于篇幅，就简单介绍到这。下一期将介绍如何从爬取的HTML代码中分析并获取想要的数据。