当我们谈论大数据的时候，我们谈论什么

光环大数据，拥有16年的程序员培训经验，上市公司品牌，口碑极好，一线名师授课，强大的教研团队研制开发最新的课程，与中关村软件园战略合作保障人才输出，与学员签订就业协议保障就业问题！真正的靠谱品牌！

在过去的周末，一年一度的美东华人创业狂欢 MIT－CHIEF年会在麻省理工落下帷幕，其中的几场圆桌论坛干货满满。今天为大家带来的是大数据行业的圆桌 Big Data Panel 的内容，其嘉宾囊括了大数据几个实际运用领域的从业者和专家。以下为本场圆桌内容摘录整理，有删节。

问题一：在各自的大数据运用领域，我们现在看到的数据究竟有哪些？

出门问问李媛媛：对于创业公司，因为其初创的性质，在数据采集的渠道上有其天生的短板。因此从数据的种类而言，我们只从一个垂直领域切入：地图 POI，而且目前只聚焦普通话语音数据。对于数据获取的渠道而言，我们在今年推出了一款可穿戴式硬件 Ticwatch，提供了数据的入口。除了数据获取上的挑战，由于大量用户的私人数据将会被收集，从我们开始收集分析数据伊始，就注重数据隐私的基础建设：于前端，我们会与用户积极沟通并指出我们所收据的数据种类；于后端，我们致力于提供最完善的数据加密保护。

Procyon Ventures Drew Volpe：在企业级运用时，我们看到的不单单是数据的初始种类，而更多的是加上其它层级数据之后的意义和运用。比如我之前创立的公司，同样也是运用传感器与可穿戴设备收集用户的车行数据，但是我们通过算法分析之后可以推断出用户的驾驶能力和安全指数，从而为保险公司提供了计算保金的基础。这也同时回到刚才提到的数据保密问题，我认为现在大数据面临的挑战之一就是建立一个有效的数据保密评定系统和基础设施。因为现在越来越多的工具可以将表面看上去简单或者非敏感数据在一定得分析之后推导出隐私数据，比如地图数据，表面看上去无害，但是当我追踪了你过去三年每天的出行记录之后，我可以轻松得知道你的家庭、公司住址，消费习惯，甚至是去医院的次数等，因此我认为大数据从业人员有义务和责任捍卫好海量数据的私密性和安全性。

问题二：在获取数据方面有哪些挑战？

波士顿市政府 Kelly Jin：在波士顿，我们看到的数据种类主要基于市民与政府各部门的 “触点”：比如你的交通罚单、税单、出入政府机关部门的人流数据、公立学校的各种纪录等；大数据在公共领域运用的很大难题，特别对于政府机关内部的数据团队而言，为数据的质量和采集。这个问题首先来自于政府部门的自身的传统运行模式，许多部门仍然采用非电子化文档管理，或者并不擅于建立电子档案，于是作为政府内部的数据科学家，我们做的首要工作是引导，并转化这些传统纸质数据变为电子实时数据，并在分析前进行大量的清理和管理。同时政府内部的数据虽然有十分巨大的潜力，但分析能力仍然有限，所以我也鼓励创业团队与我们合作，共同研究开发公共数据的实际运用。

亿可能源宁可 & Target 50 Matt Conway：我们看到的更多的是间歇数据（interval data)，我们依赖不同的传感器和智能电表为我们提供 5-15 分钟间隔的能耗数据。如此海量的数据，由于不同的电表／传感器公司的生产标准不同， 储存数据的格式也大相径庭，于是我们在分析数据时往往不能采用标准化的算法进行数据处理。更糟糕的情况是，当我们和电力公司合作时，由于现在市场上公司间并购非常活跃，当两个电力公司合并后，数据往往无法调和，于是出现相当大的错漏问题。在能源领域，数据私密性也同样是一个大难题，很多不相关的数据往往可以推导出一些企业并不想披露的信息。比如我们曾经为一个大型审计集团的办公楼宇进行能耗分析，但是他们却不愿披露相关信息接口，原因是一旦我们拿到相关每 5 分钟的照明数据，我们可以清楚得看到公司不同部门在税务忙季的加班情况和与去年的对比，以此推断企业的业绩等。

问题三：如何具体在大数据中挖掘商业价值，并分享一些你们现在正在运用的比较创新的开发模式

波士顿市政府 Kelly Jin：我们现在看到政府内部大数据运用最大的价值来自于对效率的大幅提升。举最近的一个例子，税收部门每年需要重点抽查和核定一定房屋和社区的房产税。现在的做法是，审计部门翻阅大量的报告，比如该家庭是否今年买了新房，是否翻修超过一定金额等，然后筛查出终点家庭，再进行核查和重新评定。作为政府内部的数据服务部门，我们将这些传统的筛查标准转化为运算法则，将整个人工密集的预筛工作从原来的 2 星期，10 人工作量，缩减到 7 分钟的自动操作，大大释放了政府职能部门的效率，让他们可以专注于真正应该专注的工作领域。

Procyon Ventures Drew Volpe：我想要分享的是一个系统方法论。我觉得真正挖掘出价值的大数据企业都是从问题出发，而非数据本身出发。

第一步，判定你要解决或者是你针对客户需要解决的问题。在刚才的政府例子中，我们看到这个问题很明显，就是解决政府效率的问题，让一些重复的工作自动化。

第二步，观察你手上握有的数据，是否足够解决你定义的问题。如果不够，是否可以运用已有数据直接推导，如果不行，定义你额外需要的数据种类。

第三步，定义了额外需要的种类之后，才是确定如何采集这些现在并没有的数据， 如果采集不到，是否有其它的方式可以获得。

问题四：大数据类型的初创企业往往有一个”Cold Start” 问题，即，用户数量太小导致数据不够，而用户数据越是不够越是无法优化机器学习和算法，这个问题如何解决？

Procyon Ventures Drew Volpe：我从自身创业经历说一下好了，我之前创立的公司 locately 是一家基于位置数据的大数据信息服务公司。创业的一开始其实就是 bootstrap，有点草船借箭的意思。我们最开始的数据都是人为手工输入的，基于 20 个种子用户的全天 24 小时原始位置数据。明显这样做并不能规模化，但是却可以让你至少有一个起点，然后我们用这些数据和算法向潜在客户和投资人证明我们可以在这个基础上挖掘的商业价值和产品功能，然后我们开始积累更多的种子用户，做更多的示范项目，以此获得更多数据。的确一开始我们的机器学习模型比较简单，但是随着数据量的增加，我们更好得迭代了算法。我觉得重点还是要放在如何展现你可以挖掘的价值，而非你的模型有多么多么完美。另外比较常见的方法就是爬虫，当你定义完你需要的数据之后，看看有哪些是可以通过爬网获取的，如果再不行，就看看哪些可以通过第三方数据订购获得。总有一些方法可以让你从 0 跑起来。

问题五：大数据未来的趋势是什么？今后的热门应用领域有哪些？

Procyon Ventures Drew Volpe：

我觉得大数据的运用前景因为硬件／传感器的成本大幅降低而被释放了更多的潜力。回顾过去十年，我们看到物联网传感器的成本以百倍速度降低，大大降低了原来因为硬件成本过高，而造成数据获取过高而无法进入的领域。除了我们现在看到的消费者数据和信息，我认为以后的大数据趋势将会集中在” 工业 4.0” – 特别是物流、基建和能源三块。在美国，物流代表了 GDP 的 9%，这是一个超百亿美元的量级；在中国，物流占 GDP 的近 1/5。以我最近投资的一个公司 WEFT 为例子，这是一家做船运物流的大数据服务提供商。以往，每件商品植入 GPS 追踪系统是非常高昂的，但是现在我们可以通过成本低廉的传感器用来捕捉实时运输数据，并综合大量外部数据，通过深度学习技术给予最精准的货品物流时间和可能的风险预判。

大数据培训，大数据培训，就选光环大数据！

原创文章，转载请注明出处：光环大数据 http://hadoop.aura.cn