(1条消息) python批量爬取图片并保存在本地文件夹下

python批量爬取图片并保存在本地文件夹下

本人目前是山西农业大学软件学院大三的一名学生,由于疫情严重,积极响应党和国家的号召宅在家中,今日闲来无事,就对学院的官网下手啦,将官网上介绍学院的老师的照片全部爬取下来,留作毕业后自己慢慢怀念吧,话不多说,进入正题,开搞!

  1. 导入的包

我们一共需要使用到四个包
time包,用来设置间隔时间,防止把网页爬崩(要是真的爬崩了我估计要倒大霉喽)
requess包,当然是用来获取网页的源代码和处理相应的啦
BeautifulSoup包,用来对网页内容进行准确的抓取,具体的使用方法以后我会写道
os包,文件处理最重要最常用的包,用来创建文件名等

import timeimport  requestsfrom bs4 import  BeautifulSoupimport os

2.抓取网页的源代

啥也不用说,直接上代码,增加了容错的机制,很好理解的,一看就懂

#封装方法用来爬取网页的源代码def getHTML(url):    try:        r = requests.get(url,timeout = 30,headers = hd)        r.raise_for_status()       #容错机制,若请求访问失败则返回的不是200,则返回字符串空        r.encoding = r.apparent_encoding     #设置编码方式,用解析返回网页源码得出的编码方式代替  UTF-8        return r.text    except:        return ''

其中需要说明的就是更改requests请求的头部,虽然官网对爬虫没有任何限制,处于习惯,还是更改一下头部更好啦

hd = {'user-agent':'chorme/10'}  #更改requests请求的头信息,用来防止网页的反爬虫,也可来伪装自己访问网页的信息,这里用最简单的chorm(浏览器)版本10代替

3.对网页进行解析,从中获取自己想要的图片链接

查看网页的源码,来看爬取图片的所在的标签,上图说话

可以直观的看出,自己想要爬取的图片的相关信息都在img标签当中,所以接下来就把所有的img标签爬取,并对其进行分析即可,但是观察发现,不知道问什么,每一张图片的img标签竟然不同,不可以使用正则表达式,而且最气人的是,有的图片有直接在属性中给出相应的下载链接,但有的没有,只能自己拼接,哎,只能使用基本的方法喽,上代码!

url = 'http://soft.sxau.edu.cn/info/1013/2388.htm'    #爬取网页的urlpicture = 'http://211.82.8.2:8080/system/_owners/soft/_webprj/'   #设置下载图片的头部,根据网页源码得出,并不是每一个img标签都有相对应的图片下载链接,但都有相应的src,这里为最后的保存图片做准备text = getHTML(url)soup = BeautifulSoup(text,'html.parser')a = soup.find_all('img')  #直接找出所有的img标签,观察发现每个图片的img标签并不一样,不能用正则表达式来统一查找urlInfo = []  #用来保存每一个图片拼接好的下载链接for tag in a:    new_url = tag.attrs['src']    #得到img属性当中的src    urlInfo.append(picture+new_url.split('/',2)[-1])    #通过spilt函数剪切src并于之前的图片头部进行拼接,得到每个图片的下载地址

每行代码后都有详细的注释哟,拼接这个下载链接真的让我废了功夫,体现出一个初学者的心酸。。。

4.保存下载的图片

先上代码再说话!

#保存图片,思路:将所有的图片保存在本地的一个文件夹下,用图片的url链接的后缀名来命名    dir_name = 'teacherImage'    #设置文件夹的名字    if not os.path.exists(dir_name):     #os模块判断并创建        os.mkdir(dir_name)    for img_url in urlInfo:        time.sleep(1)   #设置间隔时间,防止把网页爬崩        picture_name = img_url.split('/')[-1]     #提取图片url后缀        reponse = requests.get(img_url)        with open(dir_name+'/'+picture_name,'wb') as f:            f.write(reponse.content)

主要使用os模块,简单明了快捷,大体推荐,哈哈哈哈哈哈哈

5.出结果

一套武功耍下来,就会出现以下的结果,当然成功啦!

这些照片将来都是满满大学的怀念呀!

(0)

相关推荐

    Database error: [You have an error in your SQL syntax; check the manual that corresponds to your MariaDB server version for the right syntax to use near '' at line 1]

    select ID from ac_posts where ziID =  ;