Python爬虫实战练习：爬取微信公众号文章

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

作者：徐洲更

为了实现该爬虫我们需要用到如下工具

  • Chrome浏览器
  • Python 3 语法知识
  • Python的Requests库

此外，这个爬取程序利用的是微信公众号后台编辑素材界面。原理是，当我们在插入超链接时，微信会调用专门的API（见下图），以获取指定公众号的文章列表。因此，我们还需要有一个公众号。

PS：如有需要Python学习资料的小伙伴可以加下方的群去找免费管理员领取

点击加群即可免费获取Python学习资料

可以免费领取源码、项目实战视频、PDF文件等

正式开始

我们需要登录微信公众号，点击素材管理，点击新建图文消息，然后点击上方的超链接。

接着，按F12，打开Chrome的开发者工具，选择Network

此时在之前的超链接界面中，点击「选择其他公众号」，输入你需要爬取的公众号（例如中国移动）

此时之前的Network就会刷新出一些链接，其中以"appmsg"开头的便是我们需要分析的内容

我们解析请求的URL

https://mp.weixin.qq.com/cgi-bin/appmsg?action=list_ex&begin=0&count=5&fakeid=MzI1MjU5MjMzNA==&type=9&query=&token=143406284&lang=zh_CN&f=json&ajax=1

它分为三个部分

  • https://mp.weixin.qq.com/cgi-bin/appmsg: 请求的基础部分
  • ?action=list_ex: 常用于动态网站，实现不同的参数值而生成不同的页面或者返回不同的结果
  • &begin=0&count=5&fakeid: 用于设置?里的参数，即begin=0, count=5

通过不断的浏览下一页，我们发现每次只有begin会发生变动，每次增加5，也就是count的值。

接着，我们通过Python来获取同样的资源，但直接运行如下代码是无法获取资源的

  1. import requests
  2. url = "https://mp.weixin.qq.com/cgi-bin/appmsg?action=list_ex&begin=0&count=5&fakeid=MzI1MjU5MjMzNA==&type=9&query=&token=1957521839&lang=zh_CN&f=json&ajax=1"
  3. requests.get(url).json()
  4. # {'base_resp': {'ret': 200003, 'err_msg': 'invalid session'}}

我们之所以能在浏览器上获取资源，是因为我们登录了微信公众号后端。而Python并没有我们的登录信息，所以请求是无效的。我们需要在requests中设置headers参数，在其中传入Cookie和User-Agent，来模拟登陆

由于每次头信息内容都会变动，因此我将这些内容放入在单独的文件中，即"wechat.yaml"，信息如下

  1. cookie: ua_id=wuzWM9FKE14...
  2. user_agent: Mozilla/5.0...

之后只需要读取即可

  1. # 读取cookie和user_agent
  2. import yaml
  3. with open("wechat.yaml", "r") as file:
  4. file_data = file.read()
  5. config = yaml.safe_load(file_data)
  6. headers = {
  7. "Cookie": config['cookie'],
  8. "User-Agent": config['user_agent']
  9. }
  10. requests.get(url, headers=headers, verify=False).json()

在返回的JSON中，我们就看到了每个文章的标题(title), 摘要(digest), 链接(link), 推送时间(update_time)和封面地址(cover)等信息。

appmsgid是每一次推送的唯一标识符，aid则是每篇推文的唯一标识符。

 

实际上，除了Cookie外，URL中的token参数也会用来限制爬虫，因此上述代码很有可能输出会是{'base_resp': {'ret': 200040, 'err_msg': 'invalid csrf token'}}

接着我们写一个循环，获取所有文章的JSON，并进行保存。

  1. import json
  2. import requests
  3. import time
  4. import random
  5. import yaml
  6. with open("wechat.yaml", "r") as file:
  7. file_data = file.read()
  8. config = yaml.safe_load(file_data)
  9. headers = {
  10. "Cookie": config['cookie'],
  11. "User-Agent": config['user_agent']
  12. }
  13. # 请求参数
  14. url = "https://mp.weixin.qq.com/cgi-bin/appmsg"
  15. begin = "0"
  16. params = {
  17. "action": "list_ex",
  18. "begin": begin,
  19. "count": "5",
  20. "fakeid": config['fakeid'],
  21. "type": "9",
  22. "token": config['token'],
  23. "lang": "zh_CN",
  24. "f": "json",
  25. "ajax": "1"
  26. }
  27. # 存放结果
  28. app_msg_list = []
  29. # 在不知道公众号有多少文章的情况下，使用while语句
  30. # 也方便重新运行时设置页数
  31. i = 0
  32. while True:
  33. begin = i * 5
  34. params["begin"] = str(begin)
  35. # 随机暂停几秒，避免过快的请求导致过快的被查到
  36. time.sleep(random.randint(1,10))
  37. resp = requests.get(url, headers=headers, params = params, verify=False)
  38. # 微信流量控制, 退出
  39. if resp.json()['base_resp']['ret'] == 200013:
  40. print("frequencey control, stop at {}".format(str(begin)))
  41. break
  42. # 如果返回的内容中为空则结束
  43. if len(resp.json()['app_msg_list']) == 0:
  44. print("all ariticle parsed")
  45. break
  46. app_msg_list.append(resp.json())
  47. # 翻页
  48. i += 1

在上面代码中，我将fakeid和token也存放在了"wechat.yaml"文件中，这是因为fakeid是每个公众号都特有的标识符，而token则会经常性变动，该信息既可以通过解析URL获取，也可以从开发者工具中查看

 

在爬取一段时间后，就会遇到如下的问题

{'base_resp': {'err_msg': 'freq control', 'ret': 200013}}

此时你在公众号后台尝试插入超链接时就能遇到如下这个提示

这是公众号的流量限制，通常需要等上30-60分钟才能继续。为了完美处理这个问题，你可能需要申请多个公众号，可能需要和微信公众号的登录系统斗智斗勇，或许还需要设置代理池。

但是我并不需要一个工业级别的爬虫，只想爬取自己公众号的信息，因此等个一小时，重新登录公众号，获取cookie和token，然后运行即可。我可不想用自己的兴趣挑战别人的饭碗。

最后将结果以JSON格式保存。

  1. # 保存结果为JSON
  2. json_name = "mp_data_{}.json".format(str(begin))
  3. with open(json_name, "w") as file:
  4. file.write(json.dumps(app_msg_list, indent=2, ensure_ascii=False))

或者提取文章标识符，标题，URL，发布时间这四列信息，保存成CSV。

  1. info_list = []
  2. for msg in app_msg_list:
  3. if "app_msg_list" in msg:
  4. for item in msg["app_msg_list"]:
  5. info = '"{}","{}","{}","{}"'.format(str(item["aid"]), item['title'], item['link'], str(item['create_time']))
  6. info_list.append(info)
  7. # save as csv
  8. with open("app_msg_list.csv", "w") as file:
  9. file.writelines("\n".join(info_list))

下一篇，将介绍如何根据每个文章的连接地址，来获取每篇文章的阅读量信息。

参考资料

  1. https://blog.csdn.net/kindred_joe/article/details/99289890
  2. https://blog.csdn.net/qq_28804275/article/details/82150874

最终代码如下（代码可能有bug，谨慎使用），使用方法为python wechat_parser.py wechat.yaml

  1. import json
  2. import requests
  3. import time
  4. import random
  5. import os
  6. import yaml
  7. import sys
  8. if len(sys.argv) < 2:
  9. print("too few arguments")
  10. sys.exit(1)
  11. yaml_file = sys.argv[1]
  12. if not os.path.exists(yaml_file):
  13. print("yaml_file is not exists")
  14. sys.exit(1)
  15. with open(yaml_file, "r") as file:
  16. file_data = file.read()
  17. config = yaml.safe_load(file_data)
  18. headers = {
  19. "Cookie": config['cookie'],
  20. "User-Agent": config['user_agent']
  21. }
  22. # 请求参数
  23. url = "https://mp.weixin.qq.com/cgi-bin/appmsg"
  24. begin = "0"
  25. params = {
  26. "action": "list_ex",
  27. "begin": begin,
  28. "count": "5",
  29. "fakeid": config['fakeid'],
  30. "type": "9",
  31. "token": config['token'],
  32. "lang": "zh_CN",
  33. "f": "json",
  34. "ajax": "1"
  35. }
  36. # 存放结果
  37. if os.path.exists("mp_data.json"):
  38. with open("mp_data.json", "r") as file:
  39. app_msg_list = json.load(file)
  40. else:
  41. app_msg_list = []
  42. # 在不知道公众号有多少文章的情况下，使用while语句
  43. # 也方便重新运行时设置页数
  44. i = len(app_msg_list)
  45. while True:
  46. begin = i * 5
  47. params["begin"] = str(begin)
  48. # 随机暂停几秒，避免过快的请求导致过快的被查到
  49. time.sleep(random.randint(1,10))
  50. resp = requests.get(url, headers=headers, params = params, verify=False)
  51. # 微信流量控制, 退出
  52. if resp.json()['base_resp']['ret'] == 200013:
  53. print("frequencey control, stop at {}".format(str(begin)))
  54. break
  55. # 如果返回的内容中为空则结束
  56. if len(resp.json()['app_msg_list']) == 0:
  57. print("all ariticle parsed")
  58. break
  59. app_msg_list.append(resp.json())
  60. # 翻页
  61. i += 1
  62. # 保存结果为JSON
  63. json_name = "mp_data.json"
  64. with open(json_name, "w") as file:
  65. file.write(json.dumps(app_msg_list, indent=2, ensure_ascii=False))
赞 (0)

相关推荐