数据分析思维与实战（五）!

数据分析

• 1、如何解决临时题述需求
• 2、如何搞定BAT大厂的数据分析项目
  • 2.1 数据异常排查
• 3、怎样才能更好地转型或成功跳槽
  • 3.1 对上节课三个问题进行解答
  • 3.2 日常工作分析
  • 3.3 转型四步法
• 4、如何挑选适合项目场景的数据分析工具
  • 4.1 数据分析整体流程
  • 4.2 Excel常用操作
  • 4.3 SQL常用问题
  • 4.4 R语言以及python脚本案例
• 5、多元思维模型：数据分析需要具备的四大能力
  • 5.1 背景
  • 5.2 中观能力
  • 5.3 微观能力
  • 5.4 宏观能力
• 6、电商数据分析：京东App的详细产品分析
  • 6.1 如何看待京东App
  • 6.2 整体数据的分发效率
  • 6.3 漏斗分析
  • 6.4 新用户分析
• 7、互联网金融：芝麻信用分的建模过程是怎么样的
  • 7.1 背景
  • 7.2 授信模型
  • 7.3 模型落地
• 8、游戏：游戏行业的ROI和付费率是怎么算的
• 9、销售：传统行业如何做好交易额提升
• 10、指标体系搭建：指标体系的经典四步
  • 10.1 指标体系的定义以及选取原则
  • 10.2 建立指标体系的四个步骤
  • 10.3 知乎App指标体系实操
• 11、流量分析：如何分析数据波动
  • 11.1 背景
  • 11.2 渠道分析
    • 1.常见渠道及渠道分类
    • 2.渠道推广的整个过程
    • 3.渠道的关键指标及分析方法
  • 11.3 转化与价值分析
    • 1.漏斗分析
    • 2.功能模块分析
  • 11.4 流量波动逻辑性分析
    • 1.日活
    • 2.留存
• 12、路径分析：用户的使用路径网络分析
  • 12.1 路径分析定义
  • 12.2 路径分析案例——以美团APP为例
  • 12.3 路径分析思考
• 13、竞品分析：教你如何做竞品分析
• 14、营销活动：日常运营活动的分析模板
• 15、用户增长：用户增长的本质是什么
  • 15.1、用户增长模型
  • 15.2、国内用户增长现状
  • 15.3、增长案例解析
• 16、问题定义和拆解：如何去定义问题，拆解问题
• 17、数据获取和分析：常见的SQL技巧和分析方法
  • 17.1数据获取前期准备
  • 17.2 SQL提数常见问题
  • 17.3 常用的分析方法
    • 1.结构分析
    • 2.对比分析
    • 3.时间序列分析
    • 4.相关性分析
    • 5.机器学习
  • 17.4、总结:
• 18、报告撰写:专题报告的完美标准化格式
  • 18.1、报告撰写的原则
  • 18.2、报告的组成部分
  • 18.3、报告点评示例
• 19、A/B测试：AB测试的效果监控
  • 19.1、A/B测试介绍
    • 概念
    • 整体流程
    • 常见的两种A/B测试类型
  • 19.2、A/B测试注意事项
  • 19.3、A/B测试案例
• 20、行业分析：行业分析及框架分析
• 21、数仓：数据仓库的三种类型表
• 22、用户研究：用户研究和数据分析的根本联系和区别
• 23、时间管理：优秀的数据分析师如何做时间管理
• 24、结束语：数据分析师职场提升的关键点

20、行业分析：行业分析及框架分析

行业研究分析的基本框架及思考角度

 

行业研究是指以“产业”为研究对象，研究产业内部各企业间相互作用关系、产业本身发展、产业间互动联系以及空间区域中的分布等。目前，产业研究主要集中于细分市场研究和产业内细分产品研究两方面。

核心

1.是研究行业的生存背景 、产业政策、产业布局、产业生命周期、该行业在整体宏观产业结构中的地位以及各自的发展演变方向与成长背景；

2.是研究各个行业市场内的特征 、竞争态势、市场进入与退出的难度以及市场的成长性；

3.是研究各个行业在不同条件下及成长阶段中的竞争策略和市场行为模式，给企业提供一些具有操作性的建议。

 

前言：

 

做行业研究，如果想很懂这个行业，最好与这个行业的从业者，金融类长期跟进这个行业的人（比如一直跟进某些行业的客户经理或者信贷部门的 credit officer），或专做某些行业研究的人多聊聊。

 

他们有时候一句话胜读十年书，可以让你的行研报告很出彩，也有很多独特的经历看书是永远找不到的。

 

进入正题，做行业研究首先我们要清楚大方向：

 

▶1.一个行业中长期来看会往哪个方向走（forward-looking）

比如金属采矿行业：铝：国外市场供需慢慢平衡，国内大部分区域继续供应过剩，价格影响；铜：中期来看供应过剩，对于部分效率低的采矿企业，价格或低于 cash cost.

 

▶2.识别出这个行业的关键风险和成功的驱动因素：

比如矿企：市场价格风险，成本风险，对冲风险，高资本支出（high CapEx/ cost overrun），政治风险，流动性风险等

 

▶3.这个行业成功的企业和失败的企业大概都有哪些，为什么？

行业分析基本的框架主要有四点组成（强调，是分析框架，不是写报告的顺序）：

A. 经济周期与信贷周期（宏观角度）

B. 商业风险 （个体企业与宏观的结合）

C. 价值与驱动因素（更好的了解这个行业）

D. 现金流创造（Cash Flow Generation）的驱动因素与重要性（对银行来说很重要）。

 

 

1-经济周期与信贷周期

 

 

1、经济周期

经济周期是自然的经济波动，表现为经济的扩张与收缩。根据一些关键指标可以分析出目前处于经济周期的哪个阶段，见下图：

 

结合行业，我们主要划分为两类：

 

 

（1）Non-Cyclical 非周期性行业（平时生活必须的 - Necessity）：如电力（没电看不了电视），供水（没水冲不了厕所），FMCG（快消）类等。

 

（2）Cyclical 周期性行业（不是平时生活必须的 - Discretionary）：这种行业波动性较强，与经济周期的相关性高，当整体周期处于上升阶段的时候，这个行业往往发展的比较好，如汽车（没奔驰可以开夏利，没夏利可以骑自行车），旅游（不出远门可以去家旁边的街心公园），高端时装（这辈子没穿过就），航空（与旅游等行业相关）等。

 

周期性行业又可以细分为两类，主要取决于这个行业被周期影响的时间点（早或晚）：

 

早期的：如汽车，房地产（经济的波动或拐点会比较快的影响到这些行业）

晚期的：如技术

值得一提的是，行业又是通过产业链相互连接的

2、信贷周期

信贷周期与经济周期类似，主要分两个阶段：

增长阶段：表现为利率低，贷款条件比较灵活自由等（e.g. 个人或企业容易从银行借钱）

收缩阶段：上升的利率，贷款条件严苛等（银行翻脸不认人了）。收缩阶段往往持续到商业信心开始恢复，金融机构对经济增长前景重回乐观

 

放一个近些年信贷周期的图例来说明（1990-2007 危机前）：

 

看了大方向，下面分析行业与企业。

 

说句题外话：我一直觉得搞行业研究不容易，因为不光需要对宏观经济有一定了解，最好还要能看懂大部分的公司财务等。

 

这是一个相当的知识与经验积累的过程。而且，很多大型银行内部做行业研究或组合管理的人有时候还要对自己银行的产品组合，整体风险胃口有了解，将这些维度都联系在一起，是挺有挑战性的工作。

2-商业风险

 

商业风险主要指的是企业因为不确定性导致的利润减少甚至亏损的风险，如：

 

对客户的依赖度（想想造船公司，或者一些客户很少很集中的行业）；

供应商提价；

项目执行可能遇到的风险（比如建筑行业）；

价格战；

消费者品味变化等等；

 

这一块主要是基于对个体企业的分析与理解，转为对宏观行业的分析与总结（我觉得做行业分析的人最好也有一定的企业财务等分析的基础）。

 

用图来总结的话，大致如下：

 

这里有两个小建议：

 

 

（1）因为这里问的是初入金融行业，所以我推荐可以去参考一些企业或银行的债权募集说明书看一看，里面的基本分析和框架可以借鉴，有价值。

 

（2）还有就是，个人经验，不要拿来就用各行业高度概括的数据（aggregatedata）分析行业的财务等指标。

土方法是自己亲自做几个同行业企业的财务分析（自己选几个同行业的公司，上市的发债的都可以，网上下年报或审计报告），做着做着对这个行业的感觉就来了（peer comparison的思路）。

有时候一份好的审计报告或年报，可以学到不少这个行业的干货。

 

3-价值与驱动因素

 

识别行业的价值与驱动因素，更好的了解行业。一般可以从价值链的角度分析：

 

价值链不同环节的重要性和整合性因行业不同而不同。驱动因素的识别主要去看哪一个环节对于这个行业的利润增长有最大的影响。

 

如奢侈品类时装的驱动因素包括：可支配收入及品牌（营销）；一般类时装品牌的驱动因素则集中于成本控制与效率（供应链管理，存货管理，分销渠道等）。再比如矿企，自有矿藏是否充裕，质量如何等等。

 

需要说明的是：这里我们谈到的企业价值对于权益类来说很重要，对于信贷来说现金流更重要。

 

4-现金流驱动因素与重要性

 

现金流这块主要是从银行角度看的。影响现金流的因素取决于行业的特征，如应付和应收账款类驱动因素是由行业特征和运营方式等决定的，如：

 

有强势地位的企业：长期且宽松的支付条款，导致大规模的应付帐款，现金流或变好

 

某些细分行业：Daewoo（大宇造船），周期长，客户少，导致客户支付条款苛刻，应收高，现金流或变差

 

其他影响现金流的因素还包括：存货，资本支出 (CapEx)，SG&A 费用，预收预付款等。

这些都需要具体行业具体分析，不能一概而论。

举个简单的例子就是：同样都是现金流，大宗商品贸易公司（CommodityTrader）的现金流（银行更多的用作sanity check）与一个传统制造业企业的现金流是没有可比性的。

考虑了上面的因素后，一个简单的行业分析报告包不是框架了，是写报告的顺序）

 

行业前景与趋势：可以分各个子行业来分析一些供需指标，利润边际，市场份额等，比如汽车类的话可以分Light Vehicles, Trucks, Auto Suppliers and Tyres来逐一分析

 

财务特征：行业整体利润率，资产负债表的稳健度，重点企业的股价与债券情况（如maturity），外部评级（三大和中国本土的），对应的 CDS（信用违约互换）走势（如果有的话），近期行业收并购的情况，ABS（比如汽车行业的次级资产支持证券，这块目前发行最大的应该是福特汽车）等等。

 

行业特征：根据子分类，比如石油行业分整合型（IOM），国家型（NOC），独立（E&P），冶炼与分销（R&M）及服务（OFS）等，可以有个大概的风险收益评估。

 

总之，行业分析复杂，一两句话无法说全面，这里仅提供分析的框架和思考的角度。

 

21、数仓：数据仓库的三种类型表

事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计，通过获取描述业务过程的度量来表达业务过程，包含了引用的维度 和与业务过程有关的度量。

1、三种事实表概述

事实表有三种类型 : 事务事实表、周期快照事实表和累积快照事实表。

• 1.1 事务事实表

也称原子事实表，描述业务过程，跟踪控件或时间上某点的度量事件，保存的是最原子的数据；

个人理解：类似于mysql binlog日志，每一次相关的 change 都记录下来，生成一行新的数据

• 1.2 周期快照事实表

以一个周期为时间间隔，来记录事实，一般周期可以是每天、每周、每月、每年等；

个人理解：只看某个业务过程，比如订单收货，数据按订单收货时间来切分，周期可以为每天、每月等。

• 1.3 累积快照事实

用来描述过程开始和结束之间的关键步骤事件，覆盖过程的整个生命周期，通常具有多个日期字段来记录关键时间点；当过程随着生命周期不断变化时，记录也会随着过程的变化而被修改；

个人理解：要看整个生命周期的多个业务过程，比如：创建订单 → 买家付款 → 卖家发货 → 买家确认收货。粒度是一个订单一行数据，创建订单时间，付款时间，发货时间，收货时间，分别作为一个字段，便于计算不同业务过程的时间间隔。

 

2、三种事实表对比

3、事实表设计 8 大原则

• 原则 1：尽可能包含所有与业务过程相关的事实
  • 分析哪些事实与业务过程相关，是设计过程中非常重要的关注点；
  • 在事实表中，尽量包含所有与业务过程相关的事实，即使存在冗余，由于事实通常是数字型，存储开销不会太大；

• 原则 2：只选择与业务过程相关的事实
  • 如，订单的下单这个业务过程，事实表中不应该存在支付金额这个表示支付业务过程的事实；

• 原则 3：分解不可加性事实为可加的组件
  • 如，订单的优惠率，应分解为订单原价金额与订单优惠金额两个事实存储在事实表中；

• 原则 4：在选择维度和事实之前必须先声明粒度
  • 粒度用于确定事实表中一行所表示业务的细节层次，决定了维度模型的扩展性；
  • 每个维度和事实必须与所定义的粒度保持一致；
  • 设计事实表时，粒度定义越细越好，一般从最低级别的原子粒度开始；
    • 因为原子粒度提供了最大限度的灵活性，可以支持无法预期的各种细节层次的用户需求；

• 原则 5：在同一个事实表中不能有多种不同粒度的事实
  • 疑问：怎么判断不同事实的粒度是否相同？
    • 粒度为票一级；（实际业务中，一个订单可以同时支付多张票）
    • 票支付金额和票折扣金额，两个事实的粒度为 “票级”，与定义的粒度一致；
    • 订单支付金额和订单票数，两个事实的粒度为 “订单级”，属于上一层订单级数据，与 “票级” 事实表的粒度不一致，且不能进行汇总；
    • 如果，以订单金额和订单票数这两个维度汇总总金额和总票数，会造成大量的重复计算；
• 原则 6：事实的单位要保持一致
  • 如，订单金额、订单优惠金额、订单运费这 3 个事实，应该采用统一的计量单位，统一为元或者分，以方便使用；
• 原则 7：对事实的 null 值要处理
  • 原因：在数据库中，null 值对常用数字型字段的 SQL 过滤条件都不生效；如，大于、小于、等于、大于或等于、小于或等于；
  • 处理：用 0 代替 null ；
• 原则 8：使用退化维度提高事实表的易用性
  1. 事实表中存储各种类型的常用维度信息，较少下游用户使用时关联多个表的操作；
  2. 通过退化维度，可以实现对事实表的过滤查询、控制聚合层次、排序数据、定义主从关系等；
  • 易用性：对事实表，更较少关联操作、过滤查询、控制聚合层次、排序数据、定义主从关系等；

• 在 Kimball 的维度建模中，通常按照星形模型的方式设计，通过事实表的外键关联专门的维表，这种方式来获取维度，谨慎使用退化维表；这与大数据领域的事实表设计不一样；
  • 思路：通过增加冗余存储，减少计算开销，提高使用效率；

 

4、事实表设计方法

Kimball 的维度模型设计 4 步法：选择业务过程、声明粒度、确定维度、确定事实；

当前的互联网大数据环境，维度模型的设计，是基于 Kimball 的四步维度建模方法进行了更进一步的改进：

• 第一步：选择业务过程及确定事实表类型

  • 思路：详细分析需求，对业务的整个生命周期进行分析，明确关键的业务步骤，从而选择与需求有关的业务过程；
  • 以实例说明：如何选择业务过程？如何确定事实表类型？
    • 例：淘宝的一个交易订单
    • 
      1. 分析业务的生命周期：如上图，业务过程通常使用行为动词表示业务执行的活动；
      2. 明确关键的业务步骤：该订单流转的业务过程有 4 个：创建订单 → 买家付款 → 卖家发货 → 买家确认收货；
      3. 根据业务需求，选择与维度建模有关的业务过程；
         • 如，是选择 “买家付款” 这个业务过程，还是选择 “创建订单” 和 “买家付款” 这两个业务过程，具体根据业务情况来定；
      4. 根据所选的业务过程确定事实表类型；
         • 如，选择 “买家付款” 这个业务过程，则事实表类型应为只包含买家付款这一个业务过程的 “单事务事实表”；
         • 如，选择了所有 4 个业务过程，并且需要分享各业务过程的时间间隔，则事实表类型应为包含了所有 4 个业务过程的 “累积快照事实表”；

• 第二步：声明粒度

  • 粒度的作用：
    1. 粒度的声明，意味着精确定义事实表的每一行所表示的业务含义；
    2. 明确的粒度能够确保对实表中行的意思的理解不会产生混淆，保证所有的事实按照同样的细节层次记录；
  • 粒度的选择：尽量选择最细级别的原子粒度，以确保事实表的应用具有最大的灵活性；
    1. 灵活性：支持无法预期的各种细节层次的用户需求；
    2. 对于订单级别，粒度可以定义为最细的订单级别；（如，父子订单，事实表的粒度可以定 “子订单级别” ；）

• 第三步：确定维度

  • 完成了粒度声明，就意味着确定了主键，对应的维度组合以及相关的维度字段也可以确定了；
  • 选择维度的原则：应该选择能够描述清楚业务过程所处的环境的维度信息；
    • 如，淘宝订单 “付款事务事实表” 中，粒度为 “子订单”，相关的维度有买家、卖家、商品、收货人信息、业务类型、订单时间等；

• 第四步：确定事实

  • 确定原则：选择与业务过程有关的所有事实，且事实的粒度要与所声明的事实表的粒度一致；
  • 思路：可以通过回答 “过程的度量是什么” 来确定；
  • 注意：将不可加性事实分解为可加的组件；（分解的原则：可以通过分解后的可加的属性值，计算得到不可加性事实）

汇总图：

参考文献：阿里巴巴大数据之路

 

22、用户研究：用户研究和数据分析的根本联系和区别

用户各有所好。你喜欢这个，我喜欢那个，也有我们都喜欢的。那么在用户的心理隐藏着什么样的秘密呢？要想发现其中的奥妙，通常有两种方式：定性研究、定量分析。定性的信息告诉你为什么会发生，它灵活、快速、细节丰富，但缺乏普遍性，我们能听到的只能是少部分用户的声音，他们是否代表大多数用户是无从判断的。另一种方法就是让数据来说话，定量的信息告诉你发生了什么，它真实、精确。也就是说，用户研究并不一定总要使用“定性研究”这样的方式才能进行。借助数据分析也可以达到了解用户喜好的效果。

1.“数据分析”在“用户研究”中的作用

（1）了解用户概况

了解目标用户“背景信息”：通过数据统计目标用户“人口统计”信息，比如，年龄构成、性别比例、等等（如下图），达到对目标用户背景情况摸底效果。

（2） 区分用户群体差异

按照多种维度，发现用户不同特征，将相同特征用户归类，进而准确形成用户分组，为之后进一步用户分析工作在此基础上进行，为产品优化设计工作指明用户群体的方向（如下图）。

（3） 分析用户偏好

以调研的产品为核心，按照多种维度统计“频次”、“含量占比”，从而挖掘目标用户各种“偏好”，让“产品优化设计”能够迎合用户需求，有的放矢：如下图一，产品使用地点排行，挖掘用户对地点的偏好；如下图二，产品分类排行，挖掘用户对产品分类的偏好。

2.用户研究中的“数据分析”方法

收集用户数据->制定编码分类->数据分析（用户特征提取）->确定优化方向->提升商业回报，下面进行简要介绍。

（1）制定编码分类

抽取近几周到几个月内的数据，根据分析的产品目标建立编码规则，执行编码，直到不再产生新的编码为止。编码可以是任何维度上的，只要对后续的分析有帮助。

（2）数据分析（用户特征提取）

编码建立之后，围绕研究“目标产品”用户特征这个中心，按照各种有用的维度进行数据统计，通过数据分析结果，分析提取出“用户特征”。

（3）确定优化方向

在分析出来的众多“用户特征”中，根据商业目标和用户体验双方向共赢的原则，寻找产品优化设计的方向。

3.为“数据分析”穿上美丽外衣

（1） 数据说明“图形化”，让分析结果更易理解

给统计图表增加“图形化数据说明”，可以更直接快速的传达结论，更易于读者理解，如下方的两张图，分别给横轴的“性别”、“年龄”、“峰值原因说明”增加了形象的图形说明。

（2）数据分析图，要能直观的反应结论

统计图表中，在说明不同类别占比或者频次有差异的时候，图形本身尺寸大小建议和所反馈的占比频次成正比，以便读者观看分析报告时候，一目了然，快速理解图表含义，比如下方图形，“YES类”占比多所以“图形面积”大；“NO类”占比少，所以“图形面积”小。

最后，“数据分析”需要与“定性研究”相结合，才能发现规律并且追根溯源，更高效的指导设计和产品。

 

23、时间管理：优秀的数据分析师如何做时间管理

一、梳理任务，确定优先级

提高工作效率，最重要的一点是明确任务。时刻想着任务目标，才不会做无用功。

不过，我们手里的工作通常不止一件，这时我们就需要对任务进行优先级规划。我们可以借助四象限法则，列出手头所有的工作，并把它们分类：重要紧急、重要不紧急、紧急不重要、不紧急不重要。

重要紧急任务，建议花20%时间，并且立即去做。比如老板突然让拆解某个异动，比如当天就是提交分析报告的deadline。

重要不紧急任务，建议花70%时间，有计划地去做。比如对某业务进行分析和机会洞察，比如搭建底层数据系统，这类事情很有价值，但因为通常需要花大量时间而被忽略。其实，在这类事情上投资，回报是最大的。

紧急不重要任务，建议花10%时间，比如临时开个会议，这类事情多了会打乱我们的工作节奏，所以我们没必要全程参与，没必要亲自参与，一些任务可以选择性放弃。

不紧急不重要任务，建议不花时间做，比如开无关的会议。

二、拆解任务，列ToDo清单

明确任务的优先级后，我们可以把每一个大任务拆解成一个个子任务。比如做某业务的季度报告，我们可以拆分成几个步骤：

1. 明确分析目标和实现途径；
2. 梳理数据采集过程，评估有效性；
3. 数据清洗和建模分析；
4. 整合成分析报告；

当然还可以继续往下分成更细的子任务，分配好时间，然后按照顺序列出ToDo清单，完成某项任务后划掉。如果中途突然被其他事情打断，可以先记在备忘录上，尽量不要打扰正在进行的事情。

三、善用分析工具

对于数据分析师，玩转Excel、SQL、Python都是基本功，不过这些工具用起来比较笨重，要敲代码不说，而且一直面对密密麻麻杂乱无章的数据，常常会打断思路，影响工作效率。如果想提高工作效率，一款专业的数据分析工具是必备的。

 

24、结束语：数据分析师职场提升的关键点