精细化运营分析系统构建IPTV精细化运营体系

张 庸 张艳莹

1.2.内蒙古广播电视台 内蒙古 呼和浩特市 010050

精细化运营分析系统基于目前业界领先的大数据平台技术框架搭建，提供运营数据采集汇聚、业务运营模型分析、数据接口服务等功能，实现对IPTV 业务数据的统一接入、采集存储、统计分析、深度挖掘，提供全网、全用户、全业务的综合分析数据、对外数据接口服务。

1 目 的

精细化运营分析系统的目标就是建立整套的数据采集、数据建模、模型分析、业务应用的数据系统，使得运营人员可以完成数据分析，并在业务系统中进行应用。其核心是通过统计用户行为事件的指标，并筛选相关事件属性与用户属性，来为运营人员提供数据支撑。

通过建设精细化运营分析系统，采集用户行为数据、媒资数据以及第三方数据，对数据进行清洗处理，建立事件表和用户表的数据模型。在数据模型的基础上，构建分析模型，将运营人员从枯燥的数据分析中解放出来，直接使用模型获得想要的数据。模型包括事件分析模型、留存分析模型、漏斗分析模型、路径分析模型、属性分析模型、分布分析模型等，数据分析的模型化降低了业务分析的门槛，使得运营人员可以随时进行针对性的数据分析，自行筛选需要的指标，从而达到“数”以致用的目的。

2 系统设计

精细化运营分析系统采用分层设计、分级处理的系统架构，系统架构如图1 所示。

图1

2.1 数据采集

IPTV 业务系统主要包括探针数据及清洗后的话单数据、C3 数据、C2 媒资数据、媒资补充数据以及第三方数据（如订购信息、用户信息等）；

数据采集层设计满足同时支持多个业务系统、多终端、多种格式的数据源的接入和数据采集的功能要求。

2.2 数据预处理

可满足对不同数据源多节点数据的收集，并完成原始数据的标准化处理、检查校验（有效性检查、合理性检查、完整性检查）、剔重过滤等预处理，最终形成系统统计分析和数据共享所需的基础数据；

根据采集数据类型（结构化或非结构化数据）、统计分析需求、数据共享需求完成对采集数据的汇集、存储、分发处理。

2.3 数据存储

精细化运营分析系统采用关系型数据库（ORACLE/MYSQL）用于存储结构化数据；采用分布式存储数据库，例如Hadoop Hbase，HDFS 等。其支持高效读写、海量存储，支持分布式水平扩展和集群内冗余备份，不仅查询功能强大，还可以实现复杂的类似SQL 关系查询。

2.4 数据模型

通过事件分析、留存分析、漏斗分析、路径分析、用户分析等模型，对用户行为事件进行统计分析；

业务统计数据分析模型的事务处理采用分布式、集群部署模式，每个事务处理服务器上内嵌内存数据库，保证了高可靠、实时响应。

2.5 数据应用

数据分析指导页面编辑通过分析用户使用页面的频度，针对性的进行优化；

活动评估分析专题活动的参与人数规模，活动人群的留存及转化情况等；

订购分析展现人群的行为特点、观影习惯、剩余天数，以便进行差异化服务；

用户分群对分析出的用户进行归类分群，以便精准运营；

通过在线数据访问服务API，为三方系统提供数据分析结果。

3 系统接口设计

3.1 数据采集接口

系统提供统一数据采集接口服务，实现从广电域和互联网各系统或平台采集多源异构的海量数据。采集数据包括但不限于全网用户直播、点播、回看等视频点播产生的数据；所有用户在EPG 上所产生的任何行为数据以及C2 或互联网媒资数据以及从外部系统收集频道、节目等内容资源数据；EPG系统提供的直播频道信息和节目信息；点播和回看系统提供点播回看节目信息，以及用户视频点播行为信息。

采集接口有EPG 实时探针、App 采集SDK、FTP 文件接口等方式（如图2 所示）。

图2

3.2 数据服务接口

数据服务接口向其他基础业务系统提供数据分析的结果数据，即用户分群的用户画像信息。向运营推荐系统提供基于用户特点的行为数据，方便进行针对性的差异化运营。

4 系统功能特性

4.1 元数据管理

（1）事件的定义：事件定义为一个独立的用户操作行为。如浏览了一个网页，观看了一个视频，发生了一次订购等。事件的几个要素用4W1H 表述：Who，When，What，Where，How。

Who：谁做了这个事件，即用户的ID、名称等；

When：什么时候做的这个事件，即开始时间，结束时间，持续时间等；

What：做了什么事情，即观看直播、订购、点播等；

Where：事情是在哪里发生的，即用户所在的区域；

How：用户怎么做的这个事情，即使用的机顶盒类型、版本，从哪个页面跳转等。

（2）事件表：事件表是统一管理的事件列表，包括事件包含哪些属性，不同的事件因为行为特点的不同会有不同的属性。

例如，直播事件的属性包括频道名称、频道ID、频道分组等，点播事件的属性包括影片名称，影片的导演、演员，影片所属栏目等，浏览事件的属性主要包括页面名称、上一个页面名称、所属栏目等。

（3）事件属性：用户行为事件的属性，不同的事件有不同的属性。

如点播事件的属性是播放的内容名称、播放内容的标签等，浏览事件的属性是页面名称及栏目名称等，订购事件的属性是产品的价格及名称。

将事件的属性统一在属性池中管理，为不同的事件设置不同的属性。

（4）用户表：用户表的信息包括用户的基本属性以及用户的行为属性。

用户的基本属性包括用户ID、姓名、地址、手机号、生日、身份证号码、用户所在区域、用户的机顶盒型号、用户的机顶盒软件版本等固有属性标签。

用户的行为属性包括用户的开户时间、首次登陆时间、订购产品包剩余天数、入网天数、上次登陆时间、用户在线时段、画像标签等，同时还包括根据用户的实际行为而产生的属性标签。

4.2 数据分析模型

4.2.1 模型概述

精细化运营分析系统是建立在数据模型基础上的模型化分析系统。事件表和用户表是通过一个用户ID 进行关联的，各种分析模型也都建立在这两张表之上。即做什么事的是什么人，有多少人，这些人有哪些属性特点，事情本身又有哪些属性特点。用户可以自己增加筛选条件进行数据挖掘和分析，精准定位到符合自己业务特点的用户群。

同一个事件，通过各个模型的综合分析，就可以知道这个事件的受欢迎程度、用户群的规模、在哪些地区受欢迎、对哪类用户影响大、产品的盈利等情况，从而为运营人员和企业领导在做下一步决策的时候提供数据支撑。

4.2.2 事件分析

事件分析通过对某个用户的行为模型进行统计分析，从而判断该行为的影响和价值。例如，统计某一个频道的指标，如CCTV-1 的收视人数、收视次数、收视时长；统计某一个栏目的指标，如少儿栏目的收视人数、收视次数、收视时长；统计访问某一页面的指标，如电影首页的访问次数；统计访问某一功能的指标，如搜索次数。

事件分析模型包含几个重要的概念：事件、维度、统计指标、事件属性、用户属性等，支持用户从不同的维度查看事件指标，同时支持事件属性、用户属性的筛选，通过不断下钻分析做到精准定位。

4.2.3 留存分析

留存分析包含狭义和广义两种。狭义的留存分析是指用户先做了事件A，之后第N 天又做了事件A，那么这个用户就是事件A 的N 日留存用户。初始事件与后续事件可以是同一事件，或者有业务相关性的事件。例如，初始事件是用户收看央视节目，后续事件是用户收看CCTV-1，或者初始事件是用户收看CCTV-1，后续事件也是用户收看CCTV-1。

广义的留存分析是指用户先做了事件A，之后第N 天又做了事件B，那么这个用户就是事件A 引流用户对事件B 的N 日留存用户，初始事件与后续事件也可以是完全不同的事件，即完全无业务相关性的事件。例如，初始事件是用户观看CCTV-1，后续事件是用户看到点播节目。

4.2.4 漏斗分析

漏斗分析是一套流程式数据分析，它能够科学反映用户行为状态以及从起点到终点各阶段用户转化率的情况。通过漏斗模型统计可展示用户在不同层级的页面上访问的情况以及转化情况。

4.2.5 路径分析

路径分析包含两个部分，即统计用户从某一个行为开始之后的行为操作统计，统计用户到达某一个行为之前的操作路径。

4.3 用户分组

用户分组是将具有相同属性和特点的用户进行归类，创建成相应的用户分组，把经由留存分析、漏斗分析、用户分析等分析模型筛选出来的用户归类到同一个组里并进行管理。

举例分析使用场景如下：向浏览过订购页的用户发送优惠券；向观看直播频道的用户推荐点播内容；针对某个城市的用户进行促销活动；向习惯看美国片的用户推荐新上映的美国片。

4.4 系统性能

系统采用目前业界领先的查询引擎进行OLAP 实时数据分析处理方案，能有效应对用户的实时数据查询需求，实现大容量高并发分布式的查询机制，保证系统响应时间和查询的稳定性，处理性能得到大幅提升。

（1）选用高性能通用服务器（如48 核+，256GB 内 存，SSD 硬盘的通用服务器）搭建实时分析的大数据集群，且可通过软硬件的升级扩容满足200 万终端用户行为数据分析的要求；

（2）系统数据采集处理支持单点故障自动切换，峰值可缓存数据，延后处理，数据不积压、不丢失；

（3）系统采用实时数据共享服务接口向第三方系统实时提供数据，延时低于1 分钟；

（4）系统按照本项目建设要求设计支持多套备份策略以满足不同数据安全管理需求，包括数据增量备份时间周期不超过24 小时，数据全备份时间周期不超过7天，数据永久保存；

（5）系统采用双路冗余网络设计、分布式集群部署等安全保障机制，无单点故障，支持自动负载均衡，集群中单点宕机或单点关机不会影响对系统正常数据采集处理，确保7×24 小时系统稳定运行。

总结

精细化运营分析系统的搭建为IPTV 播控平台进一步完善了整套的集数据采集、数据建模、模型分析、业务应用为一体的数据系统，不但为运营人员提供了强有力的数据支撑，也通过在业务系统中的应用为IPTV 用户提供了精细化、差异化的经营服务。