scrapy实践之中间件的使用

在scrapy框架中，Downloader Middlewares 称之为下载中间件， 可以对爬虫的requests请求进行封装处理，典型的应用有以下3种

1. 添加用户代理

所有的中间件代码都保存在middlewares.py文件中，通过自定义类的形式来创建一个中间件，代码如下

from faker import Faker
class UserAgentMiddleware(object):

def process_request(self, request, spider):
        f = Faker()
        agent = f.chrome()
        request.headers['User-Agent'] = agent

只需要重写process_request方法即可。

2. 添加IP代理

IP代理也是通用的实现方式，代码如下

class ProxyMiddleware(object):

PROXIES = [
        'https://36.249.118.13:9999',
        'https://175.44.108.65:9999',
        'http://117.69.12.82:9999']

def process_request(self, request, spider):
        proxy = random.choice('PROXIES')
        request.meta['proxy'] = proxy

3. 集成selenium

在scrapy中集成selenium， 可以进一步提高爬虫的处理范围，代码如下

from selenium import webdriver
from scrapy.http import HtmlResponse
class SeleniumMiddleware(object):

def __init__(self):
        options = webdriver.ChromeOptions()
        options.add_argument('--headless')
        self.driver = webdriver.Chrome(chrome_options=options, executable_path='C:/Program Files (x86)/Google/Chrome/Application/chromedriver.exe')

def __del__(self):
        self.driver.close()

def process_request(self, request, spider):
        self.driver.get(request.url)
        return HtmlResponse(url=request.url, body=self.driver.page_source, request=request, encoding='utf-8',
                                status=200)

定义好中间件之后，必须在settings.py中进行启动才可以，代码示例如下

DOWNLOADER_MIDDLEWARES = {
   'hello_world.middlewares.UserAgentMiddleware': 543,
   'hello_world.middlewares.SeleniumMiddleware': 600,
}

通过中间件，我们可以对requests请求进行加工处理，方便的进行扩展，最后记得用在settings中启动中间件即可。

·end·