【Python】 简单网络爬虫实现

引言

网络爬虫（英语：web crawler），也叫网络蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。 --维基百科

网络爬虫可以将自己所访问的页面保存下来，以便搜索引擎事后生成索引供用户搜索。
一般有两个步骤：1.获取网页内容  2.对获得的网页内容进行处理

准备

Linux开发环境

python3.61安装方法:https://www.cnblogs.com/kimyeee/p/7250560.html

安装一些必要的第三方库
其中requiests可以用来爬取网页内容，beautifulsoup4用来将爬取的网页内容分析处理

1. pip3 install requiests
2. pip3 install beautifulsoup4

第一步：爬取

使用request库中的get方法，请求url的网页内容
更多了解：http://docs.python-requests.org/en/master/

编写代码

1. [root@localhost demo]# touch demo.py
2. [root@localhost demo]# vim demo.py

1. #web爬虫学习 -- 分析
2. #获取页面信息
3. #输入：url
4. #处理：request库函数获取页面信息，并将网页内容转换成为人能看懂的编码格式
5. #输出：爬取到的内容
6. import requests
7. def getHTMLText(url):
8.     try:
9.         r = requests.get( url, timeout=30 )
10.         r.raise_for_status()    #如果状态码不是200，产生异常
11.         r.encoding = 'utf-8'    #字符编码格式改成 utf-8
12.         return r.text
13.     except:
14.         #异常处理
15.         return ' error '
16. url = 'http://www.baidu.com'
17. print( getHTMLText(url) )

[root@localhost demo]# python3 demo.py

第二步：分析

使用bs4库中BeautifulSoup类，生成一个对象。find()和find_all()方法可以遍历这个html文件，提取指定信息。
更多了解：https://www.crummy.com/software/BeautifulSoup/

编写代码

1. [root@localhost demo]# touch demo1.py
2. [root@localhost demo]# vim demo1.py

1. #web爬虫学习 -- 分析
2. #获取页面信息
3. #输入：url
4. #处理：request库获取页面信息，并从爬取到的内容中提取关键信息
5. #输出：打印输出提取到的关键信息
6. import requests
7. from bs4 import BeautifulSoup
8. import re
9. def getHTMLText(url):
10.     try:
11.         r = requests.get( url, timeout=30 )
12.         r.raise_for_status()    #如果状态码不是200，产生异常
13.         r.encoding = 'utf-8'    #字符编码格式改成 utf-8
14.         return r.text
15.     except:
16.         #异常处理
17.         return ' error '
18. def findHTMLText(text):
19.     soup = BeautifulSoup( text, 'html.parser' )    #返回BeautifulSoup对象
20.     return soup.find_all(string=re.compile( '百度' )) #结合正则表达式，实现字符串片段匹配
21. url = 'http://www.baidu.com'
22. text = getHTMLText(url)        #获取html文本内容
23. res = findHTMLText(text)    #匹配结果
24. print(res)        #打印输出

[root@localhost demo]# python3 demo1.py

一个例子：中国大学排名爬虫

参考链接：https://python123.io/index/notebooks/python_programming_basic_v2

1. #e23.1CrawUnivRanking.py
2. import requests
3. from bs4 import BeautifulSoup
4. allUniv = []
5. def getHTMLText(url):
6.     try:
7.         r = requests.get(url, timeout=30)
8.         r.raise_for_status()
9.         r.encoding = 'utf-8'
10.         return r.text
11.     except:
12.         return ''
13. def fillUnivList(soup):
14.     data = soup.find_all('tr')
15.     for tr in data:
16.         ltd = tr.find_all('td')
17.         if len(ltd)==0:
18.             continue
19.         singleUniv = []
20.         for td in ltd:
21.             singleUniv.append(td.string)
22.         allUniv.append(singleUniv)
23. def printUnivList(num):
24.     print('{:^4}{:^10}{:^5}{:^8}{:^10}'.format('排名','学校名称','省市','总分','培养规模'))
25.     for i in range(num):
26.         u=allUniv[i]
27.         print('{:^4}{:^10}{:^5}{:^8}{:^10}'.format(u[0],u[1],u[2],u[3],u[6]))
28. def main():
29.     url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'
30.     html = getHTMLText(url)
31.     soup = BeautifulSoup(html, 'html.parser')
32.     fillUnivList(soup)
33.     printUnivList(10)
34. main()

展示