Pandas也能爬虫?还如此简单!

众所周知,一般的爬虫套路无非是构造请求、解析网页、提取要素、存储数据等步骤。构造请求主要用到requests库,提取要素用的比较多的有xpath、bs4、css和re。一个完整的爬虫,代码量少则几十行,多则几百行,对于新手来说学习成本还是比较高的。

那么,有没有什么方法只用几行代码就能爬下所需数据呢?

答案是pandas。

自从知道了这个神器,尝试了多个网页数据爬取,屡战屡胜,简直不能再舒服!这家伙也太适合初学爬虫的小伙伴玩耍了吧!

定义

pandas中的pd.read_html()这个函数,功能非常强大,可以轻松实现抓取Table表格型数据。无需掌握正则表达式或者xpath等工具,短短的几行代码就可以将网页数据抓取下来。

原理

Table表格型数据网页结构

pandas适合抓取Table表格型数据,那么咱们首先得知道什么样的网页具有Table表格型数据结构(有html基础的大佬可自行跳过这一part)。

我们先来看个简单的例子。(快捷键F12可快速查看网页的HTML结构)

从以上网站可以看出,数据存储在一个table表格中,thread为表头,tbody为表格数据,tbody中的一个tr对应表中的一行,一个td对应一个表中元素。

我们再来看一个例子:

也许你已经发现了规律,以Table结构展示的表格数据,大致的网页结构如下:

<table class='...' id='...'>
     <thead>
     <tr>
     <th>...</th>
     </tr>
     </thead>
     <tbody>
        <tr>
            <td>...</td>
        </tr>
        <tr>...</tr>
        <tr>...</tr>
        ...
        <tr>...</tr>
        <tr>...</tr>        
    </tbody>
</table>

只要网页具有以上结构,你就可以尝试用pandas抓取数据。

pandas请求表格数据流程

针对网页结构类似的表格类型数据,pd.read_html可以将网页上的表格数据都抓取下来,并以DataFrame的形式装在一个list中返回。

pd.read_html语法及参数

基本语法:

pandas.read_html(io,match='.+',flavor=None,header=None,index_col=None,skiprows=None, attrs=None,parse_dates=False, thousands=', ', encoding=None, decimal='.', converters=None, na_values=None, keep_default_na=True, displayed_only=True)

主要参数:

参数 释义
io 接收网址、文件、字符串
parse_dates 解析日期
flavor 解析器
header 标题行
skiprows 跳过的行属性,比如 attrs = {'id': 'table'}

实战

案例1:抓取世界大学排名(1页数据)

import pandas as pd 
import csv
url1 = 'http://www.compassedu.hk/qs'
df1 = pd.read_html(url1)[0]  #0表示网页中的第一个Table
df1.to_csv('世界大学综合排名.csv',index=0)

没错,5行代码,几秒钟就搞定,我们来预览下爬取到的数据:

案例2:抓取新浪财经基金重仓股数据(6页数据)

import pandas as pdimport csvdf2 = pd.DataFrame()for i in range(6):    url2 = 'http://vip.stock.finance.sina.com.cn/q/go.php/vComStockHold/kind/jjzc/index.phtml?p={page}'.format(page=i+1)    df2 = pd.concat([df2,pd.read_html(url2)[0]])    print('第{page}页抓取完成'.format(page = i + 1))df2.to_csv('./新浪财经数据.csv',encoding='utf-8',index=0)

没错,8行代码搞定,还是那么简单。

我们来预览下爬取到的数据:

案例3:抓取证监会披露的IPO数据(217页数据)

 import pandas as pd
 from pandas import DataFrame
 import csv
 import time
 start = time.time() #程序计时
 df3 = DataFrame(data=None,columns=['公司名称','披露日期','上市地和板块','披露类型','查看PDF资料']) #添加列名
 for i in range(1,218):  
     url3 ='http://eid.csrc.gov.cn/ipo/infoDisplay.action?pageNo=%s&temp=&temp1=&blockType=byTime'%str(i)
     df3_1 = pd.read_html(url3,encoding='utf-8')[2]  #必须加utf-8,否则乱码
     df3_2 = df3_1.iloc[1:len(df3_1)-1,0:-1]  #过滤掉最后一行和最后一列(NaN列)
     df3_2.columns=['公司名称','披露日期','上市地和板块','披露类型','查看PDF资料'] #新的df添加列名
     df3 = pd.concat([df3,df3_2])  #数据合并
     print('第{page}页抓取完成'.format(page=i))
df3.to_csv('./上市公司IPO信息.csv', encoding='utf-8',index=0) #保存数据到csv文件
end = time.time()
print ('共抓取',len(df3),'家公司,' + '用时',round((end-start)/60,2),'分钟')
(0)

相关推荐