大数据时代 一种创新型的大数据管理组织

有人问我，随着大数据，人工智能的到来，新的数据管理团队应该如何组成的？比如岗位职责、配置及人员数量等等，这个问题不好回答，因为不同企业的实际情况不同，这里给出笔者的一些思考，希望于你有益。

中国移动很早就提到IT要成为业务的使能者，由此可以套用到大数据，对于大数据来讲，早期的使能者是大数据平台，随着业务的深入，大数据的支撑就要逐步过渡到软硬兼顾，这个时候，数据管理能力就变得举足轻重，其对上要支撑好业务，对下要承接好平台，将是未来大数据运营的发动机。

但大数据时代的数据管理团队建设对于很多传统企业是比较难的，为什么呢？

首先，虽然很多传统企业都想往大数据转型，但其数据管理团队的职责主要还是报表取数，其数据支撑的特点是需求导向，要求准确、快速及稳定，而大数据运营则特别强调创新和价值挖掘，在新老交替期间，如果一只团队要兼顾两套使命，的确是有挑战的。

其次，两者的具体工作内容也有所不同，虽然在数据运维、数据质量、元数据管理等方面的工作是雷同的，但 一般的报表取数团队定位主要是数据平台的使用者，而新的数据管理团队则不仅是使用者，更是数据中台的建设者，因为大数据对于数据、模型及平台方面的要求较以往有很大不同，很多数据管理工作需要推倒重来，数据管理团队迎来新的建设期。

比如要进行非结构数据的采集了、要求元数据、数据质量管理平台能同步对接各类大数据技术组件了，又比如原来的数据仓库模型支撑报表取数就可以了，现在要支撑价值变现了，这对建模提出了新的要求，也许自顶向下的关系模型方法不再适应新的要求，也许内容、位置、社交建模等将成为新的建模重点，诸如此类很多。

最后，从技能的角度讲，虽然两者有相通性，比如都包括数据处理、数据运维，数据管理等等，但内涵和范围也有了很大不同，在建模技能、挖掘技能、管理技能、平台技能要求方面已经不可同日日语，特别是诸如人工智能等方面，当前很多企业数据管理团队在这方面的储备是不够的。

大数据时代，数据管理团队要与时俱进，新的生产力需要新的生产关系来适配。

那么，新时期理想的数据管理团队该如何组成呢？

这里，笔者给出一种团队框架，列出以下六个核心职责：

其实跟足球的后位，中场及前锋配置还有点类似，后卫即数据运维，要保证数据稳定，质量可靠，这是根本，中场包括资产管理、技术研发和培训体系三个方面，这是能力，以往企业对于这块是不太重视的，因此数据管理往往缺乏后劲，前锋包括内外部运营，这是产出，也是评估数据管理成效的唯一标准，特别强调要形成闭环，当然不同的企业所处的大数据阶段不同，需要灵活调整，要注意的是，这里未将基础平台建设纳入，主要是考虑到诸如私有云等平台建设非常重，很多企业往往单独设置部门，因此不再列出。

笔者在《大数据运维的思考》中有过详细的阐述，其与传统的数据运维有传承也有改进，毕竟平台不同了，技术要求也不一样，以前是在DB2，ORACLE上，现在是在hadoop、MPP及流处理之上，同时数据量与复杂度大幅提升，规范性要求其实更高，比如上线时候增加一个字段都可能带来巨大的潜在影响，因此，运维对于工具的依赖将进一步增大，数据运维机器换人的趋势越加明显，大数据时代靠事务驱动进行人肉数据保障的方式将越来越不可靠，其甚至要兼顾优化建设。

术业有专攻，大数据平台技术和数据管理技术其实是两大分支，现在很多企业平台的管理部门与数据管理部门并不是一个团队，比如阿里云的建设运维部门肯定跟事业部的数据团队是两拨人，因此，双方要做好沟通衔接。

数据资产管理很多工作可以纳入运维的职能，但笔者还是建议独立设置职责，因为数据运维趋向于做短期的事物，而资产管理则侧重长远，侧重管控及建设。

笔者这里列出了数据，模型和标签三类数据实体的资产管理职能，它们到底管什么呢？

第一， 管数据体系的建设，即传统数据仓库数据采集、数据建模这层，你可以认为是数据架构，这个工作建议企业自己员工做，因为中台的东西是核心竞争力，牵一发而动全身，而标签则可以提倡百花齐放，因为其与应用相关，可以借助更多的外力。

第二， 管数据规范的落地，一个就是制定数据管理规范，数据目录怎么做，标签目录怎么做，如何形成闭环，都应该定义清楚，这要有专人管理，另一个就是将数据规范的东西落到系统和流程上，比如采集一个数据放到哪个目录需要纳入上线评审的环节，否则资产目录会乱套，规范管理要事无巨细。

第三， 管管理平台的建设，笔者以前在《为什么数据管理工作很难成功？》、《六把武器？ 谈谈DT时代的大数据资产管理》等文章中多次提到，无论是数据质量管理还是元数据管理，一定要从传统的后向管理走到前向管理，一定要建设一个与大数据平台配套的数据管理平台，任何管理规范的落地都需要依赖于系统才能变得可靠，比如生产建表必须前台控制，不允许后台写脚本，这样可以确保数据字典的完整性，又比如在可视化的开发中提供代码质量自动审核能力，不要太依赖开发人员的自觉性，紧急的时候什么都可以不顾的。

如果说前面两个团队的使命是稳定和规范，技术研发团队的使命就是搞数据创新，因为企业各类前端应用中存在着大量的数据要求，比如更好的数据和模型，这些东西在一个独立的前端项目中往往是难以短期解决的，数据管理团队一定要能末雨绸缪，提前储备能力，为前端应用的差异化竞争力提供支持。

技术研发一般有三个方面的工作，一是做数据的专项研究，从企业的数据中找出新的价值点，提供给上层使用，比如运营商对于DPI上网数据的解析，对于黄页知识库的研究等等，二是做算法的应用研究，无论是传统的机器学习，或是深度学习，或是专有算法，都希望通过创造好的挖掘模型来为企业的大数据应用提供支撑，比如运营商的未来数据应用肯定离不开精准位置、智能推荐、自然语言处理等技术，因此需要提前储备能力，三是做应用的探索，数据管理团队离数据最近，做“重数据”的任何应用都是有其天然优势的，比如自助取数、自助报表、多维分析、标签库等等，数据管理团队除了对外提供数据能力，也要能通过应用的建设直接创造价值。

有人会问培训体系不是公司人力资源部的职能吗？的确是的，这是针对企业的某个阶段特意设立的，在大数据平台建立之初，企业很重要的一件事情就是平台的普及推广，这个离不开培训，但这类培训不是通常意义上的充一下电，而是需要企业的人员能将培训的东西直接应用于生产的，是一个体系化的工作，虽然企业的部分培训可以依赖外部讲师，但还是远远不够的。

企业的数据管理团队需要承担起这个使命，无论是新增一个数据、模型或功能，都应该能培训到位，企业需要打造自己的师资力量，这在笔者的《我们需要什么样的大数据培训？》 、《从“千人计划”说起，传统企业要培养自己的大数据人才》中有详细的阐述。

人的能力始终是第一位的，这也是笔者将培训放在中场的原因，数据管理团队不仅自身要硬，也要能走出去，为公司整体赋能。

应该来讲，企业的大数据运营涉及面很广，不仅仅包括报表取数，也包括精确营销等等，这些工作牵扯企业的方方面面，其实不是数据管理团队能独立承担的，但要相信星星之火可以燎原，数据管理团队作为企业内最接近数据的组织，要让数据和模型发挥出价值，一定要做好与业务人员的衔接，如果听不到一线的炮声，没有充分的反馈迭代，数据管理团队绝无成功的可能，这些教训已经很多了。

至于怎么运营则是一门大的学问，笔者也走在路上，以后会专门撰文谈谈看法，但有一点是肯定的，没有闭环的运营是不大可能成功的，而要形成闭环，则要形成一套适用于企业自身的方法，这个挑战很大。

大数据对内对外其实都是服务客户，两者相辅相成，对内的东西做好了，就可以开放出来让价值最大化，其实大数据如果对内做不好，很难说对外就能成功，阿里在这方面就做得较好，其很多产品经过内部的检验后开放出来，成熟度相对会高些，这是个良性循环。

笔者也鼓励走出去，通过对外变现不仅可以学习到行业的新东西，从而反辅主业，而且可以让团队经受住更严苛的考验，因为外部的客户不会给“面子”。

虽然对外变现业绩可能不跟数据管理团队直接挂钩，但数据管理团队的支撑能力实际决定了企业变现的底蕴，毕竟无论是搞了多少次策划、做了怎样炫目的产品、创新了多少种商业模式，最终客户看重的始终是通过产品反应出来的数据能力，从这个角度讲，企业的数据管理团队一定要能配合前端主动出击，承担起使能者这个角色，外部客户是否满意是检验数据管理团队合格的唯一标准。

大数据时代，新的数据管理团队将被赋予新的使命，笔者提的数据管理团队六个职责，也只是个逻辑的概念，不同的企业可以基于自身实际将其分配到不同的团队或部门，甚至一个团队可以兼多项职责，其实形式不重要，关键是企业是否意识到了这些方面的要求，是否做好了改变的准备。

　　大数据分析、大数据分析师、大数据培训哪家好、大数据培训靠谱吗、大数据培训排行榜，就选光环大数据！

原创文章，转载请注明出处：光环大数据

大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。 更多问题咨询，欢迎点击------>>>>在线客服！