智慧交通大数据平台搭建过程及应用案例

城市交通是枢纽，是出行保障，而解决大、中型城市的交通问题，城市公共交通和货物专业运输必然成为重中之重。本届“CDAS 2017中国数据分析师行业峰会”邀请到首发集团智慧交通大数据中心筹备组负责人曹正凤做关于智慧交通领域的分享。曹正凤在高校做了15年的统计学教学，从2016年3月到首发集团带领大数据团队做高速公路的大数据分析。曹正凤演讲的主题是“智慧交通大数据平台及应用”，介绍了首发集团智慧高速的大数据平台搭建过程及应用的案例，并在演讲后与数据派参会志愿者进行了访谈。

　　“从我出书发行2万册开始，我突然意识到，大数据时代来了!”

曹正凤曾是经管之家(原人大经济论坛)CDA数据分析师培训班的金牌讲师，因此他特别清楚，大数据时代的企业和个人在数据分析进阶路上遇到的困难和现实问题。“我在论坛培训的时候，出了一本《从零进阶!数据分析的统计基础》，一年2万册的销售量很让我震惊!”曹正凤提到的这本书大致分为六章，分别讲解了数据分析的步骤和方法、描述性统计分析、抽样估计、假设检验、方差分析、 相关与回归分析等这些数据分析基本方法的核心思想和涉及的统计学、概率论等方面的理论内容，并使用图示的方法详细介绍了使用 Excel2013进行简单的描述性统计分析和使用SPSS进行相关的数据分析的过程与结果分析。而这样一本入门级的参考书能够畅销的背后，就是企业对数据分析人才的需求和对数据价值的高度认可。

“我们国家在大数据时代的发展战略有些跨越式发展，我们没搞清楚小数据分析，就开始步入了大数据分析，很多企业也是如此，硬件上去了，小数据分析没有过关，人才缺乏，而国家转型发展必须是要做智力型战略，数据分析是很好的入手点，包括深度学习，因此数据分析人才供不应求。但是数据分析这个行业还是有一定的门槛，不像过去做软件，看看就可以了。”

“简单说，我们使得大数据的开发运维成本降低，使得技术门槛降低，就做了这么一件事。”

曹正凤目前负责首发集团高速公路智能平台系统的搭建和应用，业务范围以北京为重点先行。2016年8月，首发集团与北京市公联公路联络线有限责任公司实施合并重组。重组后的新首发集团资产总额达1800多亿元，员工队伍15000余人。如今，首发集团在交通大数据方面又增加了静态停车数据，而这一部分业务升级曹正凤也参与其中。

“大数据架构的搭建门槛很高，运维成本也很高，我们开发了一个Windows的Hadoop，这个平台的特征是拖拽式，我把组件开发出来，比如说你要做一个数据表的描述性统计，要进行百分位数、平均值等各种统计图的计算，只要是拖拽式就可以实现。这样的话，建模组的同志相对来说比较轻松。拖拽式可以实现某一个分析的事情。功能性可以进行自动地一键式部署、任务监控等等。安全性方面，如果大家为某个行业做大数据的话，安全也很重要，国内暂时没有很多的人提大数据安全的事情。我们说的大数据安全是技术层面，隐私保护是另外一件事情。我说的安全是数据泄露、黑客攻击的事情，要进行授权。简单说，我们使得大数据的开发运维成本降低，使得技术门槛降低。”

“放眼全国的智慧交通建设，很少能够看到做数据分析的，信息化技术大都停留在10年前，而我们在搭建系统平台时，Hadoop工作流引擎是自主研发技术，云计算我们在去年也开始启动，另外，后续会在高速领域开发特有的高速公路算法，明年会启动。”

演讲内容摘录：

首发集团智慧高速大数据团队人员构成及职责说明

我们团队的架构总前端是产品团队，产品团队做的事情是捕捉用户的需求，高速公路管理方有什么需求、市场有什么需求，由他来把需求提炼出来，交由平台团队、大数据团队，平台组要懂大数据技术。由平台团队到数据团队，数据团队也叫建模团队，建模团队做的事情是基于产品组提出的需求，基于现有的数据用我们的数理统计模型、数据挖掘模型、业务领域的模型把它基于数据构建出来，让它符合我们需要的某种业务需求。开发团队做的事情是把建模组做出来的模型用分布式的算法实现，包括前端BI展示。现在大数据业内做的最好的都是BI，大家都处在展示阶段，大数据的业主方或者说甲方一般对细节不感兴趣，对底层的技术是怎么做的也不感兴趣。QA团队是要做项目进展过程中的质量管理。我们部门一共有19人，大部分是研究生以上，包括数据挖掘工程师、大数据可视化工程师、需求分析师、工程师、架构师、业务经理、QA管理人等。

“我要解决的是业务痛点，增收堵漏是关键，可喜的是，综合稽查做到了!”

智慧交通始终处于动态发展的状态，但随着科学技术的不断发展创新，很多问题还是不能得到有效的解决，这就是技术与行业应用的鸿沟。“将来大家无论做什么样的行业，你要做的是真正解决问题，否则的话会觉得你做的东西没有用处。”曹正凤老师在刚加入首发时，也面临了同样的难题。“我们进某一个行业要先考虑好你对这个行业是不是真的了解，不了解去做会是一个很痛苦的过程。”据曹老师介绍，首发集团的三大业务系统，收费、监控、呼叫，每天会有源源不断的数据流入，体量非常大。“我们开始了解交通行业就是调研，去到集团下设的各个子公司了解业务需求，从技术层面分析它的大数据构成、信息系统建设如何，三个月后把系统的初步架构做出来了，然后继续学习和了解行业知识和现状，找到了他们的业务痛点就是非常规性拥堵，并提出了预测方案。”

“做预测时需要先提取交通参数的，我们正在做基于深度学习从图片上提取某个车辆的特征，比如说车辆的颜色、车辆的型号，这叫车辆多围特征提取。因为在高速公路上还有一些交通参数感应器，这个感应器2公里一个，是雷达的形式，是扫断面，这个断面上有多少辆车，车的速度是多少，车的密度是多少，这些交通参数都可以被提取出来。比如说公路上有没有倒车，有没有移洒，移洒的事情经常发生，追责要追前面车辆的责任，谁扔了这个东西。这个时候需要通过视频，视频要自动分析出来有移洒。而在视频分析技术应用之前，都是巡逻车每天在路上巡逻，大约有40多辆车，但现在视频提前预警那个车就在那儿待着，或者很快到达出事地点，把掉下来的东西移走，就不会有交通事故发生了。”

首发集团“96011高速公路热线”接待大厅

热线介绍：出门遇雾天，不知道高速路是不是临时封闭了?听广播说某高速路上有事故，不知道现在交通恢复了没?像这样的路况信息，司机只需拨打新开通的高速公路24小时服务热线96011，即可迅速获得实时信息。

96011高速公路服务热线是2012年首发集团公布的新热线，据曹正凤介绍，这部热线背后有200多名专职人员为百姓出行解答疑惑。“随着ETC办卡的增量，我们的咨询电话每天有3千多通话，而质检员监察通话质量，每天只能质检5%，这个效率问题我们也会通过技术来解决。我们准备用计算机代替质检员，将通话转化为文本，计算机进行文本挖掘，因为语音转文本已经很成熟了，标准话术、业务解释有没有做到，机器一分析就出来了。这200多名业务员以后就要靠人工智能质检，如果梳理好问答算法的话，未来的热线也有可能是机器人工话务。”

“用数据说话、用数据决策、用数据管理、用数据创新”这已经成为了智慧交通发展的基本原则，信息化建设的基本思路。2016年，高德地图发布了“互联网+交通”城市指数报告，首次用“智能出行”、“智慧交通”、“政务影响力”三大指标及二十七个分类指标，衡量城市“互联网+交通”的智能化交通发展水平。在全国“互联网+交通”城市指数中，北京综合成绩领跑全国，广州、深圳、武汉、上海紧随其后。截至2016年底，首发集团负责管理养护的高速公路达859公里占全市总里程85%(全市总里程1008公里)，负责管理养护的城市道路为675公里，负责西苑、宋家庄、四惠、东直门、北京南站等5个综合交通枢纽及全市387个停车场(含天通苑、北苑2个P+R停车场)的运营管理。

期待智慧高速、智慧交通、智慧城市能够真正地为众多出行者优化路径，为道路使用者提供引导信息和各类实时交通帮助信息服务，并希望在十三五智慧交通规划的“两通、两融、两新”中，看到京津冀系统互联互通，大数据真正助力城市出行的智能设计。

“我希望，通过我们的宣讲，能够让数据思维流行起来，帮助大家建立数据意识，因为任何一个新行业诞生之初都是教育先行，让大家少走弯路，就是我的初衷。”

　　大数据时代，大数据培训，就选光环大数据、数据分析师培训机构！

大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。 更多问题咨询，欢迎点击------>>>>在线客服！