1. 判断网址是静态网址还是动态网址

判断网址是否为静态网址还是动态网址，一般方法是查看网页的源代码或者来到开发者模式下，点击Network，点击All，找到我们想要的那个网址，然后点击Response，如果我们随便搜索一个字段都能在这个网址中找到，那么就应该是静态网址；相反，就是动态网址。如下：我要爬取这个网址下的相应的内容，

我们来到这个界面，点击搜索（Ctrl+F）：家常红烧鱼

发现这个网址下有这个字段，说明这是一个静态网址。

2. 需要的Python模块

完成这个项目需要的Python模块有：requests、bs4、urllib.parse、os
其中，第一个模块用于爬取网址上的信息，第二个模块用于解析我们爬取得到的信息，urllib.parse主要是用来进行编码，os模块用于创建文件夹，将菜谱上面的制作方法存储到一个文件中。

3. 具体实现过程

输入自己想了解的菜的名称：用变量keyword接收
得到网址为：url=“https://www.haodou.com/search/recipe/%s”%parse.quote(keyword)
然后再从搜索得到的菜谱中选择一个自己想了解的菜，当然这需要得到这个菜的链接

最后来到这个菜的制作方法的网址

4.实现代码与运行结果

实现代码为：

from urllib import parsefrom bs4 import BeautifulSoupimport requestsimport osclass HaoDou(): def __init__(self,keyword): self.keyword=keyword self.headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3756.400 QQBrowser/10.5.4039.400'} # 模拟浏览器 self.url='https://www.haodou.com/search/recipe/%s'%parse.quote(keyword) def getResponse(self): response=requests.get(url=self.url,headers=self.headers) text=response.text html=BeautifulSoup(text,'lxml') list=html.select('div.search-result>div.el-row>div>a') hrefList=[] for i in range(len(list)): print('*'*30) print('$:【{}】->{}'.format(i+1,list[i]['title'])) hrefList.append(list[i]['href']) # 将网址添加到列表中 list2=list[i].select('div.img-cover.slide-mask>div>span') # 得到食材 infoStr='' for html2 in list2: infoStr+=html2.text print('食材：'+infoStr) id=int(input('请输入你想看的序号：')) response2=requests.get(url='https://www.haodou.com'+hrefList[id-1],headers=self.headers) return response2 def getInfo(self): text=self.getResponse().text html=BeautifulSoup(text,'lxml') list=html.select('div.practice>div.ingredient>div.paixu>div>a') mainStr='' # 主料 for i in range(len(list)): mainStr+=list[i].text+' ' list2=html.select('div.practice>div.accessories>div.paixu>div') aStr='' # 辅料 for i in range(len(list2)): aStr+=list2[i].text+' ' mStr='' list3=html.select('div.practice>div.practices>div.pai>div') for i in range(len(list3)): mStr+=list3[i].text+'\n' print('主料：'+mainStr) print('辅料：'+aStr) print(mStr) # 制作过程 # 将上述三个字符串写入到文件中 path = './制作方法' try: os.mkdir(path) except Exception as e: print(e) with open(file='{}/{}.txt'.format(path,self.keyword),mode='a',encoding='utf-8')as f: f.write(mainStr+'\n') f.write(aStr+'\n') f.write(mStr) print('已写入到文件中，读者到时候记得去看啊！')if __name__ == '__main__': a=HaoDou(input('请输入你想了解的菜：')) a.getInfo()

运行结果：

运行完成之后，可以发现多了一个制作方法的文件夹，菜的制作方法就在这个文件夹下面的一个文件里面，如：

Python爬虫：静态网址的爬取

1. 判断网址是静态网址还是动态网址

2. 需要的Python模块

3. 具体实现过程

4.实现代码与运行结果

相关推荐