Power BI “Web”体验功能,让小白无码爬取网络数据更轻松!

小勤:这个网站的数据怎么抓?我用Power Query试了一下,抓不下来……

网址:http://www.zjzwfw.gov.cn/zjzw/punish/frontpunish/showadmins.do?webId=48

大海:看起来是个挺标准的表啊,如果你用Power Query直接获取不到表的话,可能其中的结构有点儿特殊。我看看他们的源代码:

使用Chrome浏览器,在表的某个内容上单击右键,在弹出的菜单中单击“检查”按钮,如下图所示:

好嘛!每一行数据都是一个表(table),而且前后外面还嵌了n层table,也就是被包含在其他表里面,难怪你用Power Query不能直接找到,代码如下图所示:

小勤:那怎么办?

大海:用Power Query也是可以的,不过比较麻烦一点儿,一种方法是逐层展开数据,一直展开到你所需要的数据位置,然后再整理,不过整理起来可能会比较麻烦;第二种方法是直接爬取源代码,然后从源代码里提取需要的信息。

小勤:感觉都好复杂啊,而且没学过html语言,这些代码都看不懂……

大海:那咱们试试Power BI的新功能吧,这个应该会简单点:

Step 01因为我们要爬取多页的数据,所以首先识别出带页码的网站:保持查看源代码的窗口打开,在原页面上单击“首页”刷新数据,此时可以在检查源代码的“Network菜单/XHR”(不同网站相关信息可能在不同项目下)出现的刷新的结果,其中可以看到详细的请求链接,该链接中即带页码信息,复制该链接(http://www.zjzwfw.gov.cn/zjzw/punish/frontpunish/searchall_list.do?areacode=330501&xzcf_code=&pageNo=1&webid=48,不要realid及后面部分——能不要的都不要,自行测试看数据结果),如下图所示:

Step 02在选项里打开该新功能(目前是预览功能,也就是说供大家测试着用,不是默认打开的):

Step 03从网站获取数据,输入链接

Step 04单击“使用示例提取表”

Step 05复制粘贴(可以使用Ctrl+C和Ctrl+V快捷键)所需要的内容到下面的表中,当粘贴到第2行的项目时,Power BI将自动识别出你后续可能需要的数据,如下图所示:

Step 06粘贴完第2行后,所有结果将被识别出来,单击“确定”按钮即可:

Step 07进入Power Query编辑器可查看生成的步骤,如下图所示:

后续即可继续修改该生成的步骤代码,实现多个页面的批量数据爬取。具体方法可参考文章《PQ-M及函数:批量处理的利器——列表转换函数(List.Transform)及A股数据批量抓取方法

小勤:这个真是太好用了,真是智能啊。

大海:我觉得以后微软还会继续强化这项功能的,我也很期待。呵呵。


(0)

相关推荐

  • 通过Power Query汇总多个工作表的数据

    版权所有 转载须经Excel技巧网/Office学吧允许 [ Excel ]:从身份证号码提取生日

  • 深入了解Power BI的问答功能

    深入了解Power BI的问答功能 作者:海艳 很开心能够加入星球 ,和伙伴们一起来学习PowerBI,学习DAX.作为星球学员.PowerBI学习者,今天来分享一下让我看到时超级震撼的PowerBI ...

  • 色彩还能这么调?Power BI的这个功能很贴心

    知乎上有朋友留言,自己是色弱,是否适合用PowerBI,老实说我以前没有想过这个问题. 他所指的是数据可视化,PowerBI中创建的图表是否能被部分色弱的用户,更友好的感知. 查了一下,PowerBI ...

  • 模糊匹配,Power BI的这个功能太实用了

    最近有几个星友问到,如何进行数据的模糊匹配?本文就利用一个简单的例子,来看看PowerBI是如何快速完成模糊匹配的. 模拟数据如下,有两个表,分别是各省市2018和2019年的数据, 这是个很常见的场 ...

  • Power BI的这个功能,每个人都用过,但是我建议你以后禁用

    在本文开始之前先看看两个在使用PowerBI的过程中,经常会碰到的两个问题,你肯定也见过. Q: 想看每天的销售额,本来放的是一个日期字段,却突然冒出来很多列, 并且月份还是英文的,想改成中文的都找不 ...

  • 基于golang的小爬虫,爬取QQ邮箱号和QQ号

    这个只是一个简单的版本只是获取QQ邮箱并且没有进行封装操作,另外爬出来的数据也没有进行去重操作 package mainimport ( "fmt" "io/ioutil ...

  • 厨房里的小妙招,学会让你更轻松

    一些厨房里的生活窍门和技巧,学会后让烹饪变得轻松又有趣. 01 食盐返潮怎么办? 粗盐放置时间久了就会返潮.这是因为粗盐中含有氯化镁,溴化钾这两种容易吸潮的物质.将盐炒热可以让氯化镁分解成氧化镁,盐就 ...

  • 厨房做这3个小改动,做起饭来更轻松!

    厨房设计可以说是除了客厅之外最重要的一个地方了,但由于家里的面积有限,厨房只能尽可能的小点,但是小厨房也要设计的温馨大气. 今天就给大家带来3条厨房设计准则,按我说的方法做,保证做起饭来更轻松. 1. ...

  • 学习Power BI,千万别被这几个Excel小习惯就挡住了!

    最近,很多初学Power BI的朋友跟我说,Power BI用起来挺麻烦的,很不习惯啊,比如,想看一列数的总和都看不到-- 我说,这其实是长期使用Excel形成的一些习惯,千万不要被这些小习惯挡住了P ...

  • 大量Power BI主题模板免费下载,一键美化所有图表! | PBI实战小技巧

    Power BI目前最为人诟病的一件事情,莫过于它的默认主题配色-- 丑 很丑 非常丑 即使Power BI本身也有多套配色可选: 但,出来的结果,总还是觉得依然"丑"! 好在,P ...