PQ- 综合实战:用Excel批量获取百度搜索结果——这感觉真是“爽”!

小勤:我这里有一堆的地址,能不能知道哪些是医院,哪些不是?

大海:呵呵,你自己看着这些地址能看得出来吗?

小勤:当然不能啊,上面又没写着医院两个字。只能一个个百度……

大海:那我们就让Excel自己去自动百度呗。

小勤:啊!这也行!

大海:Power Query不是可以做爬虫吗?专治这种批量累人活儿。

Step-01:获取地址数据到PQ

Step-02:添加自定义列,用百度搜索引擎对地址进行搜索(返回第一页,一般10-15条),这个函数非常简单,就是用Web.Contents读取网页内容。公式:Web.Contents("http://www.baidu.com.cn/s?wd="&[地址])

Step-03:添加自定义列,将百度搜索返回结果中的内容转为一行行的文本,公式:Lines.FromBinary([百度])

Step-04:展开读取的内容

Step-05:筛选其中的结果文字(通过Web.Contents读取的是整个网页的html源代码,通过观察,发现返回结果的题纲文字部分均包含在<em>标签中——学会找规律很重要。

Step-06:判断搜索结果中是否包含有“医院”字样,公式:

if Text.Contains([读取百度结果内容到每一行],"医院")

 then "医院"

 else "非医院"

Step-07:基于“地址”和“是否医院”列删除重复项

Step-08:结果上载(可按需要删除不必要的列)

小勤:这太牛了!居然可以直接连到百度去批量搜索!

大海:对的。不过即使这样,上面搜索出来的结果也要再人工校对一下,因为这种判断条件比较简单,比如其中的“北京东城区……”那个,有的地方就没有医院2个字。

小勤:啊,不过这已经很好了——咦!我刷新的时候怎么出错了?

大海:你没上网吧!

小勤:晕!刚网断了!对了,或者是不是可以换个思路,接受再宽泛一点儿条件——只要返回第一页数据里有医院2个字的,就都算作医院就是了。

大海:那你可以尝试再改进一下,比如先分组合并一下各个地址的返回结果,然后再判断一下,还记得那个合并同类项的文章吗?

小勤:嗯,记得。先分组,然后修改代码用Text.Combine函数合并内容。

大海:对。另外,如果你确定这种方式得到的结果就已经满足要求的话,你可以将几个步骤用到的函数结合到一起,这样避免中间的数据展开等过程,速度应该会快一些。我在案例数据文件里也写了一个,你先试一下,有需要的话也可以去参考一下。

小勤:好!我试试。



(0)

相关推荐

  • 指定次数,想复制几行就复制几行

    如何对某一行数据进行指定次数的复制呢? 案例 ↓ 注意:以下操作是在Excel 2019版本中进行的,不同版本,操作界面会有些许差异~ STEP1 获取数据到PQ 任意单击表格中[任意非空单元格]来激 ...

  • 我现在还不太懂公式,试试用PQ,好快的

    与 30万 读者一起学Excel VIP学员的问题,要将多个单元格的内容合并到一个单元格,并用分隔符号.隔开. 对于这种,卢子提供3种解决方法. 1.TEXTJOIN 这个是2019或者365才有的函 ...

  • 〖职场实战〗Excel自动删除强制换行,批量填充数据

    Excel情报局 OFFICE 爱好者大本营 用 1% 的Excel 基础 搞定 99%的 职场工作 做一个有价值感的Excel公众号 Excel是门手艺   玩转需要勇气 数万Excel爱好者聚集地 ...

  • 〖职场实战〗Excel按行(横向)批量填充指定内容

    Excel情报局 OFFICE 爱好者大本营 用 1% 的Excel 基础 搞定 99%的 职场工作 做一个有价值感的Excel公众号 Excel是门手艺   玩转需要勇气 数万Excel爱好者聚集地 ...

  • PQ实战 | 使用Excel收集全国天气历史数据

    搞数据分析的经常要数据的获取头疼,尤其是我们Excel用户,不过现在使用PQ来处理是非常简单的,今天我们就通过收集全国历史天气数据来讲解一下! (案例文件下载:见文末) 我们要获取数据的网址:http ...

  • 百度指数 如何批量获取?

    百度指数:搜索指数是以网民在百度的搜索量为数据基础,以关键词为统计对象,科学分析并计算出各个关键词在百度网页搜索中搜索频次的加权和.其在研究关键词搜索趋势.洞察网民需求变化.监测媒体舆情趋势.定位数字 ...

  • 10秒搞定Excel批量计算,比计算器高效N倍!

     今天 IF函数在Excel表格中太难混了,今天又被一个"无名"函数秒杀了,它就是:MEDAIN函数. 怎么"秒杀"呢?这就得从Median函数的作用说起啦~ ...

  • Excel批量删除指定关键字Sheet名称的工作表,助力办公效率提升

    Excel情报局 Excel职场联盟 生产搬运分享Excel基础技能 Excel爱好者大本营 用1%的Excel基础搞定99%的职场问题 做一个超级实用的Excel公众号 Excel是门手艺玩转需要勇 ...

  • EXCEL批量导出图片

    EXCEL的优势在于数据处理和分析,对于图形的处理往往不如PPT和WORD这两个兄弟.前面也讲过例如图形的布尔运算,EXCEL就没有这个功能,反而PPT和WORD 这两个软件都做的很好.今天就讲一下E ...

  • Excel VBA 获取当前单元格的数据类型

    chenqiai0 2016-08-06 16:28:29  8762  收藏 4 分类专栏: VBA 一步一步学习VBA 文章标签: 一步一步学习VBA Excel VBA 获取当前单元格的数据类型 ...

  • 干货分享丨Excel批量删除空白行列和单元格

    之前跟大家讲过了Word文档中如何批量去除空格,反馈都不错,简单易上手也比较实用,今天要讲的是Excel表格中如何批量去除空白行和列,也是个简单好用的小技巧,能在不经意间节省时间,提升效率,早点下班! ...