01基于位置的用户画像初探｜数据爬取及可视化系列
研究了1个月的nodejs爬虫，数据提取，mongodb数据库，数据可视化等等内容，我终于写了第一篇关于数据的文章，哈～
这个系列的文章会从：
技能
数据来源
数据可视化的套路
交互设计
等方面进行更新
今天首发的是系列文章：关于数据爬取及可视化
的
第一篇｜基于位置的用户画像初探
第一篇先谈谈总的思路，及尝试一些数据研究的方法。
第一个练手的研究内容，我选取了最近魔都热门的一个餐厅：
Mr Nice好好先生餐厅
爆红的拿破仑领军西餐甜品店，打遍上海无敌手，高大上，低调奢，新店开了不少，菜品依然创意无限。梦幻摩天轮拿破仑，真是味蕾视觉双享受！意式奶冻，草莓冻膏，口感馥郁柔滑。还有食肉控最爱的猪肋排拼盘，更多应季而变的创意菜品俘获一众吃货的心。
数据来源：
前几天发现百度指数蛮好用的，直接输入关键字就可以得到相关的数据，都是基于网民的搜索行为的。
百度指数http://index.baidu.com/
但是百度还没有收录，当然我也没到要去购买的程度，仅仅是研究啊哈～
所以主要从大众点评上获取数据。
大众点评的点评大数据http://dpindex.dianping.com/dpindex
相关指数：
先看看人气指数：
最近30天，人气不足啊，主题餐厅是不是都这样？火爆一阵子，没有持久度。
价格还是算亲民的。
商户风云榜上，6家分店排在首位啊～
研究目标
那么，位于商户风云榜首，到底是什么人喜欢到这种餐厅呢？
我决定研究下到过该餐厅消费过的用户，我设定了简单的2个目标：
某个用户的活动范围有多广？
某个用户是在周末活动多一点，还是工作日比较多？
对研究目标的补充说明：
我选择的是“是什么”的角度，而不是探讨原因的“为什么”角度，做大数据研究，需要转变下思维，从“为什么”到“是什么”。
我们没有必要，也不太可能从数据中知道为什么，因为世间万物的关系太复杂了，其实知道”是什么“就够了，要解读数据，让数据自己”发声“告诉我们正在发生的现象。
有一个典型的例子：
沃尔玛是世界上最大的零售商，掌握了大量的零售数据。通过分析，沃尔玛发现，每当季节性飓风来临之前，不仅手电筒销售量增加了，而且蛋挞的销量也增加了。因此，当季节性暴风来临时，沃尔玛会把库存的蛋挞放在靠近飓风用品的位置，以方便顾客。
看到这里，马上有人问”为什么飓风一来，人们都要买蛋挞“？
这个“为什么”，可能是极难分析、且复杂的，而且即便研究出来，意义真的很大吗？对沃尔玛来说，只要知道“飓风来了，快摆蛋挞，准备大赚一笔”就行了，这就是注重的相关关系。
研究思路：
拉取商户的用户列表，获取用户的页面
↓
提取用户标签，及评论过的地点，日期
↓
假设评论发表时，用户正在该地点活动
↓
从标签，我们可以看出，Mr Nice好好先生餐厅的顾客们的其他爱好是什么
↓
通过，用户点评过的地点，以及发表评论的时间，了解他们的行为习惯
数据收集及可视化：
点评网并没有直接的展示用户的位置轨迹，于是需要我们自己动手去搜集数据，处理数据，下面是通过编程实现的思路。
用casperjs爬取商户的所有评论页面
↓
通过nodejs中的cheerio解析网页，提取用户id
↓
根据用户id爬取用户的所有点评地点的经纬度信息，及日期
↓
通过百度地图，显示用户去过的地点，并用echart展示了下活动在一周中的分布情况。
关于casperjs、nodejs、echart相关的技术使用心得，将在另一篇文章中总结。
下图是商户的评论页，有10669条评论，手动去收集肯定是不现实的啊，本次采用了casperjs来抓取～
将从上面这一页获取的用户id清单，爬取每一用户的点评信息，如下图所示。
这个也是数据量比较大，全交给电脑去自动获取啦～然后存进数据库里，这里选择了mongodb数据库，配合express，还有前端展示，边研究边处理。
研究所得
讲了这么多理论的废话，下面进入正题哈：
本次爬取了一点点用户的数据，作为研究，因为我还不知道到底可能得出什么样的结论，所以得一步步来，试试用这些数据能不能得出一些有意思的结论。然后再决定是否大量爬取。
抽取一个光顾过MrNice餐厅的
用户A的数据看看，看来用户A是典型的吃货。
她曾在北京出差或者旅游
在上海主要在浦西活动～
普陀的频率比较高
习惯在礼拜一活动，
结合上图，估计她在普陀区上班
关于上图的解释，红圈圈越大表示发表点评的频率越高，从左到右分别为星期天，星期一，星期二……星期六
用户B的故事
用户标签：
B也是个爱吃的人～
主要是在礼拜一跟二活动，
上班了跟同事聚餐吗？
在长三角活动，
结合时间来看，出差的可能性大一点～
用户C
已婚了哈，标签里有结婚项。
去过成都，还有上海的周边也去了不少。
典型的在周末活动。
平时下班大多数是直接回家的。
我觉得C是个男的。
用户D，爱吃爱玩啊
用户标签：
这个厉害，去过不少地方旅游，旅行主要还是吃吃吃
再看看其他用户。
大致有2类人，一类是大多数在上海活动，我感觉浦西的美食比浦东多哈～
第二类是，喜欢旅行的～数据足够多的话，可以看出哪几个地点比较热门。
以上是一点点研究的所得，也许是大众点评早期是美食点评起家的，用户想起美食就跑点评了，所以用户标签的美食占比会比较多？
接下来我会加大数据的数量，对用户标签再细致研究，还有完善思路，进行更丰富的研究。
设计+科技=
自在园O设计Mix科技实验室。