产品经理10大基础技能(1):读透SQL

本文总结分享了什么是SQL、它的应用场景、如何学习掌握、如何具体操作?

本篇灵感源自援引《经济学人》最近发表的一篇文章,预计2020年将成为AI技术全面成为主流的一年而起,先撰写比较火热的数据产品经理岗位,在数据产品经理岗位里有对产品经理必须要懂的技术SQL、AHP、序列分析、PCB主成分分析等等,先讲SQL。

在本文中首先介绍SQL是什么,然后重点介绍怎么学SQL,同时又将学SQL分成一方面:学SQL的基础理论方面,另外一方面:学SQL的基础操作方面。

在讲解产品经理具体操作方面,讲解了基本SELECT语句操作,基本索引操作和数据建模操作等详实案例,以飨读者!

一、SQL是什么?

SQL是一种特定目的编程语言,用于管理关系数据库管理系统,或在关系流数据管理系统中进行流处理。

SQL基于关系代数和元组关系演算,包括一个数据定义语言和数据操纵语言。

SQL的范围包括数据插入、查询、更新和删除,数据库模式创建和修改,以及数据访问控制。

二、SQL应用场景?

例如,当您的股东或者老板想要查看以下问题时,您可以用SQL来做出对应的产品呈现:

  • 统计不同月份的下单人数

  • 统计三月份的复购率和回购率

  • 统计男女用户的消费频次是否有差异

  • 统计多次消费的用户,第一次和最后一次的消费间隔是多久

  • 统计不同年龄段,用户的消费金额是否有差异

有的同学说这些EXCEL也可以做呀,对是可以,但是现在市场的数据量EXCEL是负载不了的,EXCEL也容易崩溃。

另外SQL也可以在更大量级的数据库和数据仓库间进行查询和数据分析。

有的同学说产品经理不需要懂数据仓库,更不需要懂SQL。

在笔者LineLian的实战工作中,市场上以做出自己公司的数据仓库产品,做出自己公司的数据分析产品为产品本体的需求在持续爆发增长,所以作为市场需求旺盛的10大基础技能之一产品经理应该懂SQL。

三、怎么学SQL?

3.1 学SQL的基础理论方面

  1. 了解建立数据库的意义,为什么不能用excel而需要用数据库?以及有哪些方面的应用?

  2. 数据库系统在整个网站中处于一个什么位置?在数据后台如何调用数据库的数据?

  3. 数据库的应用范围?什么时候才不得不使用数据库?什么时候数据库也不灵了?(一般10万条及以上数据用数据库,千万级条数据是一般数据库的极限)

  4. 表与表之间存在着怎样的逻辑?理解实体、关系、主键、外键。

3.2 学SQL的基础操作方面

3.2.1 学会操作一些基本的select的操作

操作例如:将下表中列出所有建筑物以及每个建筑物(包括空建筑物)中不同的员工角色表如下图所示:

SELECT distinct role ,Building_name

FROM Buildings

LEFT JOIN Employees

ON Buildings.building_name=employees.building

3.2.2 了解索引,知道如何建立索引,应用索引

例如创建索引的标准语法:CREATE INDEX 索引名 ON 表名 (列名)

3.2.3 了解数据类型,知道如何给各个数据建立对应的模型

(1)了解数据类型

数据有结构化的数据类型,常见于存在我们数据表中的数据;也有半结构化的数据类型,例如我们百度查询某个页面结果展示的多是半结构化数据;也有非结构化数据像图片、声音、视频等等数据类型。

(2)产品经理需要会如下的数据建模全流程

数据建模分析线路一:

准备数据是从数据埋点、数据采集、数据清洗开始,然后对数据进行直观的描述分析和洞察,再然后给出数据展现,最后撰写数据分析报告。

例如:下表是某些学生的语文、数学、外语、科学成绩统计表:

首先,假设这些科目成绩不相关,也就是说某一科目考多少分与其他科目没有关系。那么一眼就能洞察出来,数学、外语、科学这三门课的成绩构成了这组数据的主成分(很显然,数学作为第一主成分,因为数学成绩拉的最开)。为什么一眼能看出来?因为坐标轴选对了!

但是当数据量足够大的时候,通过洞察就不是这么容易看出来数据的特征了。

数据建模分析线路二:例如下面闲鱼APP分析用户行为的例子

用数据建模的方法分析用户行为流程图如下:

首先分析用户行为,分析业务需求:

一般将用户行为定义为:由一系列的行为事件所串联成的序列。这个定义在不同的“粒度”上有不同的解释,比如粗粒度上来看,“搜索商品”->”聊天“->“下单”为一个用户行为,其中“搜索商品”是一个行为事件。

但是从细粒度上来看,“搜索商品”包含了多个更小的事件,比如“点击搜索框->输入文本->点击搜索按钮->查看搜索结果”等,从细粒度上这几个事件同样可以定义为行为事件,此时“搜索商品”就变成了一个用户行为。

因此,分析用户行为需求,要先看从哪个维度上进行分析。

在本案例中将行为事件定义为“页面跳转”和“按钮点击”两类事件,而用户行为则是“多个行为事件”根据时间顺序串联起来的序列。

对应到数据形式上,每一个“页面跳转”都对应一个埋点,每一个“按钮点击”也都对应一个埋点,

因此,用户行为数据建模分析,实际上也就变成了:埋点序列数据建模分析。

埋点序列数据建模图如下:

从上图中可见先通过聚类算法例如K-mean对埋点的人群进行分类,得到不同的人群,然后再对不同人群运用序列挖掘模型挖掘得到不同的行为,最后得出异常或者正常的行为判断结果。

假如用数据建模来发现未知黑产人群,用上述方法,对闲鱼的用户埋点进行分析,发现聚类出的人群里,有一类人群的行为序列是:

“商品搜索结果页->打开某个商品->点击聊天->发送文件->返回商品搜索结果页->打开某个商品->点击聊天->发送文件”

洞察查看这群人发送的文件发现,全部都是广告视频,也就是说,这些都是黑产账号,不断的在发送广告视频给别的用户,而这些黑产行为,是我们原先“未知”的(不需要提前知道这种行为的存在)。

说明一下传统的黑产模型用的是AHP层次分析法模型为主,即通过漏洞补上和行业专家打分的方法来实现风控和安全。

通过数据建模这种方式相比原来的AHP专家打分“补漏”型黑产防控有以下优势:

没有经验预设,可以快速从数据中发现新型的黑产行为模式,而不必等到大面积用户反馈以后做补漏。

数据建模算法抽象出来的行为模式相比人工“总结”会更加准确。(原来的防控大多数是根据用户反馈,然后人工观察这些人的行为,并用规则去识别匹配这些行为)

当然,数据建模这样的数据还需要进一步挖掘才能得到实际可利用的信息,针对不同业务和问题,也有不同的利用方式,这里也还只是一个案例思路,希望能从这个新的数据视角挖掘到对产品业务有用的信息。

小结一下

在红利辈出的年代,选择做什么选择学什么比擅长做什么更重要!

在市场运营上大家比较期待用户增长,客户爆发;在技术上Python、React(web)、Angular、机器学习以及Docker将也已成为市场需求最为旺盛的需求。

在产品经理岗位上一方面要盯紧市场运营的业务需求,迭代产品配合实现用户增长;另外一方面要紧盯技术发展。毕竟科学技术是第一生产力,所以产品经理不能仅仅是画原型的经理,而要持续学习,在数据中台产品,数据平台产品,数据智能产品,纯AI产品持续井喷的年代。

悲观者往往正确,乐观者常常成功!

最后笔者建议在AI时代,产品技术运营的第一要务就是为未来的全新工作方式做好准备。未来已来,未来需要数据驱动增长,未来需要数据智能化,未来需要产品经理具有的技能,让我们持续一起读懂。

(0)

相关推荐

  • 推荐系统遇上深度学习(九十七)-[阿里]使用用户未点击行为增强序列推荐效果

    在推荐场景中,用户行为序列往往是很重要的一类特征,但过去介绍的模型中,大都只使用了用户有交互行为的序列,如点击序列,下单序列,这相当于是一种正反馈.而负反馈序列(包括显示负反馈如不喜欢和隐式负反馈序列 ...

  • SEMer,你佛缘很深,只是尘缘未了

    诸葛君说:最近几天油腻大叔走了,"佛系"青年又来了,但是在熙熙攘攘的职场里,要做个"佛系员工",要自己内心平静得不起半点涟漪还真是不容易呢,正所谓一切皆是虚幻, ...

  • 如何更好更快地做客户画像的分析?

    无论您做什么行业都要面对你的客户到底,您的客户是在哪里长得什么样子,所以就需要我们去分析我们的客户画像.今天跟大家来详细说说如何做用户画像的分析. 1.数据收集 数据收集是对于客户画像分析的一个十分重 ...

  • 互联网大厂CTR预估前沿进展

    前言 CTR(click through rate)预估模型是广告推荐领域的核心问题.早期主要是使用LR(线性回归)+人工特征工程的机器学习方法,但是存在人工组合特征工程成本较高,不同任务难以复用的问 ...

  • 产品经理10大基础技能(3):读懂数据仓库 | 人人都是产品经理

    一般产品经理需要懂到数据库,但数据产品经理不仅要懂得数据库还要懂到数据仓库! 本篇讲解产品经理为什么要懂数据仓库?数据产品经理如何构建数据仓库?构建数据仓库以后如何利用数据仓库赋能产品业务?最后讲解数 ...

  • MVP方法与实践:产品经理应具备哪些技能?

    不同行业和不同企业对产品经理的定位不同,对其技能要求也不同,但是大家有共同的认识,那就是"能通过功能设计满足相应需求"的产品经理为"合格",能"对产品 ...

  • 高阶产品经理必备财务基础知识:利润表、资产负责表、现金流量表...

    产品经理的工作是培育成功的产品,为公司做出积极的经济贡献.产品经理必须确保产品的实际财务绩效满足预期的财务和市场绩效目标.制定关于产品的合理决策需要财务数据.然而,我从持续的基准测试中发现,许多产品经 ...

  • 产品经理6大环节24步的SOP管理流程

    最近在找优秀的产品经理,看到了一篇产品经理掌握业务分析时的方法论总结,写的特别好,适合产品经理.业务分析师.需求分析师等岗位对于需求的调研和挖掘,也适用于产品经理.项目经理对项目的安排,以及产品运营岗 ...

  • 产品经理4大职能:需求、生产、销售、协调

    很多人都在讨论产品经理.产品设计师的关系,或者他们的定位.其实产品这个东西本身就是比较虚无的,一个产品等同于一个网站或者一个功能已经无法真正描述产品本身的意义. 那么,产品设计师和产品经理在其中所承担 ...

  • 古诗词中的10大人生境界,读来受益!

    古诗词中的10大人生境界,读来受益!

  • 了解这10大基础原则,果树修剪不再愁

       果树修剪虽然是一个老生常谈的话题,但是要做到科学合理地修剪还必须遵循一定规律,熟悉一定的原理.下面是果树修剪的十则原理,供大家参考. 终生矛盾 即生长与结果的矛盾,它贯穿于果树的整个生命周期,表 ...

  • 68页完整版,经典的产品经理知识培训,产品经理10问(经典)

    为职场精英打造个人知识体系,升职加薪! 经典的产品经理知识培训 产品经理10问 我的职业规划是什么? 我最缺的技能是什么? 我心目中的产品团队应该是怎么样的? 我做产品时最大的困惑或问题是什么? 我有 ...

  • 算法工程师必知必会10大基础算法!

    作者:Cricode  博客园 来源:博客园 链接:http://kb.cnblogs.com/page/210687/ 算法一:快速排序算法 快速排序是由东尼·霍尔所发展的一种排序算法.在平均状况下 ...