人人玩转大数据

白剑波

智慧星光是一家以数据为核心的公司，我们的数据重点是在文本数据上。大家可能会在工作中遇到一些数据方面的困难，第一个困难是数据在哪里？我们找不到数据，举个例子，你想写报告研究一下“二孩”政策在网民当中的影响，这个数据在什么地方？在论坛里面？微博里面？微信公众号里面？怎么获得这个数据？如果有技术能力可以通过爬虫获取，但是很多人并没有这个能力。拿到数据之后怎么做处理？如果是三条五条处理起来非常容易，300条也是容易的，但是如果是3万条、300万条，特别是文本数据，我们该怎么处理？这个也是大家所遇到的困难之一。

智慧星光可以提供协作式爬虫的技术体系，帮助我们去获取、挖掘这些数据。除了公开数据之外，实际上我们还有大量的机构内部的数据。举个例子来讲，对于我们这些2C行业的大型企业，像银行、运营商，它有大量的内部数据能够反映用户行为。大家第一个会想到CRM的数据。大企业都有投诉系统，用户服务遇到问题的时候，或者不满意的时候要打电话投诉，这些投诉内容可以反馈出大量问题，这些问题不仅仅是服务问题，也包括了产品问题，甚至包括了用户对于供应商服务的一些创新想法。这些信息大量存在于文本信息当中，大家打电话的时候会听到一个提示音，说您的电话可能会被录音，百分之百会被录音，第一要检查客服人员的语言是不是标准，然后我们会把这些信息转化成文本信息，看一下客户的满意度，可以提供给产品部门做产品创新。

另外还有一部分是第三方数据，比如行业公布的报告，所有这些数据我们把它融合起来，可以构造一个统一融合的大数据平台。那么融合的大数据平台构造完了之后，我们要把这些数据存储起来，更为重要的是要从这些数据里面找出我们想要的数据，要具备检索能力。除了能够存储和检索，最重要的是能够做分析和挖掘。我们有基本的算法，通过模型能够针对性地找到数据做进一步的计算，举个例子，假设找到了300万条互联网数据，包括博客、新闻、微博等，我们要从这些数据里面去挖掘或者是去做聚类，最核心的观点是什么？我们要分析正面和负面，就是语义分析。

这些算法和模型对研究人员来讲不是难事，但是对于大量的想使用这些数据的人们来讲是有难度的。为了解决我们在应用这些数据过程当中所遇到的困难，基于智慧星光的协作式爬虫获取数据的能力，以及智慧星光提供的工具集做数据分析和挖掘，我们可以提供“星光数据平台”给客户和合作伙伴。

星光数据平台是一个什么样的平台？星光数据平台上主要的数据来自于互联网，同时也可以来自于第三方，也包括企业内部的一些数据。基于这些数据，我们首先构造一个存储系统，能够提供索引，在这之上我们再提供算法模型的工具集，基于这个平台可以提供不同的基于SaaS服务的应用，比如说现在使用最广泛的舆情监测产品，“舆情秘书”就是由这个平台提供。舆情秘书目前已经有超过两万家用户在用，签约付费的客户超过2300家。在公安体系里面，全国有区县级以上的用户3100多个，在网监部门里面超过1200个部门跟我们签约合作。舆情秘书是在时间轴上同时提供前向和后向两个方向监控的产品，我们把关健词模型设置好之后，从这一时刻开始，就可以实时监测互联网上的信息，所有这些和关健词相匹配的信息都会进入到我们账号里面。我们除了提供了PC端的账号应用之外，还提供移动端应用，甚至提供手表上的应用，都是为了让客户更快地得到他们想监测的信息。

我们还提供另外一个独创的产品，叫做“數据互动窗口”，可以更直接地在星光数据平台里获得我们想要的数据并且做进一步的分析。更为重要的是，因为智慧星光内部的新应用都是通过这个平台来进行孵化，也就是说新应用都是基于这个平台获取数据和算法，或者说是定制一些算法和模型放在这个平台上。我们非常愿意把这样的一个平台的能力开放给第三方，提供给我们的合作伙伴和客户。另外，通过数据互动窗口的可视化模块进行自定义，可以进行数据采集，采集完之后存放到指定位置，可以在后续的工作当中直接拿过来做聚类。

舆情研判起的作用是什么？它是一款提供态势感知的工具，告诉我们整个态势是什么样子，同时还可以做效果评估，对于一个舆情事件来讲，我们可能做了新闻发布会和新闻报道，不同的处理方式对于整个态势的影响是什么？像编++这样的产品，它是给媒体工作人员提供的工具集合。这个产品可以帮助我们媒体工作人员做信息选择、采编自动组稿、信息自动化发布，而且还能够做信息发布完了之后的影响力评估。当然我们还有一个智慧报告团队，可以根据星光数据平台所提供的数据，生成综合性报告，提供给客户，帮助他们做更好的分析以及智能决策。

最后简单介绍一下智慧星光，我们有超过500人的团队，致力于成为全球一流的大数据价值挖掘和精准化信息服务平台，我们有一个宗旨是，提供标准化产品为客户提供服务。（根据演讲内容整理，未经本人审核）endprint