利用python抓取页面数据
1、首先是安装python（注意python3.X和python2.X是不兼容的，我们最好用python3.X）
安装方法：安装python
2、安装成功后，再进行我们需要的插件安装。（这里我们需要用到requests和pymssql两个插件re是自带的）注：这里我们使用的是sqlserver所以安装的是pymssql，如果使用的是mysql可以参考：安装mysql驱动
安装插件的方法为
安装pymssql->进入命令行输入命令：pip install pymssql
安装requests->进入命令行输入命令：pip install requests
可以通过命令pip list来查看是否安装成功。
3、安装完成后，我们编写代码如下：
import requestsfrom requests.exceptions import RequestExceptionimport reimport pymssql#通过url获得页面内容def get_one_page(url): try: response = requests.get(url) #解决乱码问题 response.encoding = response.apparent_encoding if response.status_code == 200: return response.text return None except RequestException: return None#通过正则表达式抓取我们所需要的页面内容 def parse_one_page(html): pattern = re.compile('<div class='newBox'>.*?src='(.*?)'.*?<h4>.*?<div class='fp_subtitle'>.*?>(.*?)</a></div>.*?</h4>.*?<p>(.*?)</p>.*?<span>(.*?)</span>.*?<span>(.*?)</span>.*?<span>(.*?)</span>.*?</div>',re.S) items = re.findall(pattern,html) return items;#数据库连接def db_conn(): server = '192.168.6.111\mssqlzf' user = 'sa' password = 'sa@2016' database = 'zfnewdb' return pymssql.connect(server, user, password, database)#定义main() def main(): conn = db_conn() url = 'http://www.stdaily.com/cxzg80/index.shtml' html = get_one_page(url) cursor = conn.cursor() #将抓取回来的数据循环插入到数据库中，注意：parse_one_page返回的数据类型为 for item in parse_one_page(html): cursor.execute('INSERT INTO tblGrabNews VALUES (%s,%s,%s,%s,%s,%s)',(item[1], item[2], item[0], item[5], item[3], item[4])) conn.commit() conn.close()#执行main() if __name__ == '__main__': main()
注意，parse_one_page(html)函数返回的数据类型如下：[(),(),()...],所以上面程序要的for循环才会那么去写，如果不知道什么是list和tuple的同学可以看一下这篇文章list和tuple。
运行上述代码后，可在数据库中看到爬下来的数据。
数据表结构为：
create table [zfnewdb].[dbo].[tblGrabNews] (
id int identity (1,1) primary key,
title varchar(255),
content text,
imageInfo text,
publicTime varchar(100),
sourceInfo varchar(100),
responsibleEditer varchar(100)
)
希望能帮助到有需要的人。
赞 (0)