作为数据产品经理，你需要知道这些技术知识

在数据分析领域下，总会被提及诸如SQL、Hive，甚至Hardoop、Druid、Spark等这些技术上的词汇。那么作为一名数据领域的产品经理，听着这些不是很常见的产品知识，又应该具备怎样的技术知识呢？本文主要从“用户行为数据“角度介绍一整套的技术架构以及相关的技术要点。

1. 受众人群：数据型产品经理、数据运营等初级岗位；
2. 阅读收获：初步了解用户行为分析数据类产品的大致架构、掌握4大环节的数据技术要点。

本文将从数据采集、数据接入、数据分析、数据展示等4个重要地方，分别介绍相关涉及的技术知识。这一节主要介绍整体概念。

1.1 概念

用户行为分析系统其实是指用户使用产品过程中，把产生的行为数据通过分析而成的报表工具。此类数据区别于业务数据，大多为公开、有权限获取的，比如一些设备信息、埋点信息等。

目前行业较为人熟知的有百度统计、友盟、神策等，而使用此类产品的主要是数据分析师、数据运营和产品经理等。目的是为了统计埋点、基础指标分析（如PV、UV）等，从而对产品进行体验优化或运营推广。

（样例：数据分析系统图）

1.2 数据系统框架

1.2.1 数据采集

一般用户使用产品的时候，所填写的信息会经由业务系统加密储存。而行为数据是不会经由这些系统收集，而由专门的采集工具进行采集，这就是SDK。

1.2.2 数据接入

因为SDK采集的数据是非结构化的，所以数据都是以原始数据的方式按批次定期或实时上传。服务端通过接口对这些数据进行解析、加工处理，初步形成结构化的日志数据，并在数据库按表进行存储。

1.2.3 数据分析

当数据解析并存储之后，即可通过离线和实时两大方式进行分析。部分指标计算量大且实时要求不高，则会采取T+1、T+2（即第二天、第三天出结果）等离线计算方式。

有些指标时效性要求高，如关键指标、日常运营活动（如双十一）等，就需要较高的实时计算方式，以便监测表现。两大方式采用的系统框架会有所差别，后面详解。

1.2.4 数据应用

当使用结构化数据进行分析时，就需要可视化的图表进行展示，不管哪种方式，基本就是通过报表网站平台进行展示。比如折线图、表格、柱状图等，甚至还需要提供更多维的分析指标支持用户自主查询。

2.1 何为SDK？

2.1.1 定义

SDK是指一种软件开发工具包，是数据采集的必备工具，英文为“Software Development Kit”。

本质上它其实是一些接口API的文件，为某个应用程序提供服务。也可以理解为应用开发者通过接入这些文件，并调用里面的相关接口，即可采集相应数据。

因为SDK的大小一定程度上会影响应用程序性能，所以尽量轻量处理，占内存大多在几百K和几兆之间。

2.1.2 作用

不同业务下，SDK的应用性质是不同的。常见的就有数据行为类SDK、功能服务类SDK以及广告营销类SDK等。

其中功能服务类就是指应用通过接入SDK增加一些特殊的产品功能服务，而广告营销类则指专门做消息推送、营销推广等业务的SDK。而本文仅介绍数据行为类SDK。

2.2 SDK类型

主要分为客户端SDK和服务端SDK，客户端SDK是指这类SDK接入在应用的前端，比如iOS、安卓等。而服务端SDK是指接入在后端，更多的在后台底层。

2.2.1 客户端SDK

• iOS SDK：顾名思义，就是以iOS操作系统进行开发的SDK工具包；
• Android SDK：同样是以安卓操作系统进行开发的，可应用在所有安卓类软件中；
• H5 SDK：指以网页操作系统为生的SDK，可应用在web网站、H5网页、公众号（功能实质是H5开发）等；
• 小程序 SDK：小程序是这两年新兴的产品应用，依赖于不同的软件平台。所以需要基于不同的平台进行开发，比如微信小程序、支付宝小程序、百度小程序等，同时还需要分iOS和Android两大系统进行开发。

2.2.2 服务端SDK

• 定义：服务端的sdk具体通过后端上报数据，即业务应用采集到数据后，通过自身的服务端传到大数据系统的服务端，即“业务服务端-数据服务端”，而非客户端SDK的“业务服务端-客户端SDK-数据服务端“。
• 类型：由于每个业务的状况不同，开发语言都不是翘楚的，所以针对服务端类型的SDK都会基于不同的语言提供相应的开发版本，包括Java SDK、Pyhon SDK、PHP SDK、C SDK等等。

2.2.3 小结

不同的用户有不同的业务诉求，客户端和服务端各有优缺点，主要取决于业务诉求。整体而言，大多数产品应用使用客户端SDK居多。

2.3 作用

SDK大的任务就在于采集数据、识别数据和上报数据。

2.3.1 采集数据

由于SDK采集的数据较广，涉及种类较多，主要分几类：

1. 设备数据：具体指终端硬件设备，如电脑设备、手机设备等，如果是手机可以具体到手机类型、品牌、网络环境等。如果是电脑，则是电脑型号、浏览器类型等；
2. 程序数据：具体指应用程序的数据，比如是APP，则是此APP应用程序内的基础数据，包括APP版本、渠道、安装时间等等；
3. 埋点数据：具体指用户在某应用程序触发产生的行为数据，比如点击哪个页面、停留时长、页面曝光、启动时间等等。主要是基于业务考虑进行埋点设计。

2.3.2 识别数据

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!