requests模块的入门使用

dongge-destiny 2018-07-11 00:10:18 137 收藏

分类专栏： python-爬虫文章标签： requests模块的入门使用

版权

1.requests模块，而不是urllib

requests的底层实现就是urllib

requests在python2 和python3中通用，方法完全一样

requests简单易用

Requests能够自动帮助我们解压(gzip压缩的等)响应内容

2 requests的作用

作用：发送网络请求，返回响应数据

中文文档： http://docs.python-requests.org/zh_CN/latest/index.html

通过观察文档来学习：如何使用requests来发送网络请求

3 requests模块发送简单的get请求、获取响应

import requests

# 目标url

url = 'https://www.baidu.com'

# 向目标url发送get请求

response = requests.get(url)

# 打印响应内容

print(response.text)

response的常用属性：

response.text 响应体 str类型

respones.content 响应体 bytes类型

response.status_code 响应状态码

response.request.headers 响应对应的请求头

response.headers 响应头

response.request.cookies 响应对应请求的cookie

response.cookies 响应的cookie（经过了set-cookie动作）

3.1 response.text 和response.content的区别

response.text

类型：str

解码类型： requests模块自动根据HTTP 头部对响应的编码作出有根据的推测，推测的文本编码

如何修改编码方式：response.encoding=”gbk”

response.content

类型：bytes

解码类型：没有指定

如何修改编码方式：response.content.deocde(“utf8”)

获取网页源码的通用方式：

response.content.decode()

response.content.decode("GBK")

response.text

以上三种方法从前往后尝试，能够100%的解决所有网页解码的问题

所以：更推荐使用response.content.deocde()的方式获取响应的html页面

保存图片

import requests

# Url

url = "https://www.baidu.com/img/bd_logo1.png?qua=high&where=super"

# 发送请求获取响应

resp = requests.get(url)

# print(resp.text)

# b'\x89PNG\ <class 'bytes'>

# print(type(resp.content))

# 保存

# 打开一个文件什么格式的文件以什么方式打开

with open("baidu.png", "wb") as f:

f.write(resp.content)

4 发送带header的请求

模拟浏览器，欺骗服务器，获取和浏览器一致的内容

header的形式：字典

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

import requests

url = "https://www.baidu.com"

# 在请求头中带上User-Agent，模拟浏览器发送请求

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

response = requests.get(url, headers=headers)

print(response.content.decode())

5 发送带参数的请求

我们在使用百度搜索的时候经常发现url地址中会有一个 ?，那么该问号后边的就是请求参数，又叫做查询字符串

5.1 什么叫做请求参数：

例1： http://www.webkaka.com/tutorial/server/2015/021013/

例2：https://www.baidu.com/s?wd=python&a=c

例1中没有请求参数！例2中?后边的就是请求参数

5.2 请求参数的形式：字典

kw = {'wd':'长城'}

5.3 请求参数的用法

requests.get(url,params=kw)

5.4 关于参数的注意点

在url地址中，很多参数是没有用的，比如百度搜索的url地址，其中参数只有一个字段有用，其他的都可以删除如何确定那些请求参数有用或者没用：挨个尝试！对应的,在后续的爬虫中，越到很多参数的url地址，都可以尝试删除参数

5.5 两种方式：发送带参数的请求

import requests

headers = {

"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

# 方式1

# url = "https://www.baidu.com/s?wd=python"

# response = requests.get(url, headers=headers)

# 方式2

url = 'https://www.baidu.com/s?'

kw = {'wd': 'python'}

response = requests.get(url, headers=headers, params=kw)

print(response.content.decode())

————————————————

原文链接：https://blog.csdn.net/qq_29286967/article/details/80993848

requests模块的入门使用

相关推荐