六把武器？ 谈谈DT时代的大数据资产管理（上）

针对数据管理的书和文章也有不少，我不去解释，这里简要的列一下，如果有兴趣大家可以去看下。

1、DAMA管理体系

DAMA针对数据管理定义了10个主要的数据管理职能，并通过7个环境元素对每个职能进行描述。

CMMI协会于2014年发布企业数据管理能力成熟度模型Data Management Maturity（DMM），它可以用来评估和提升组织的数据管理水平，帮助组织跨越业务与IT之间的鸿沟，根据企业的数据管理能力提出五个层次：

公共仓库元模型（Common Warehouse MetaModel，CWM）是被对象管理组织 OMG（Object Management Group）采纳的数据仓库和业务分析领域元数据交换开放式行业标准，在数据仓库和业务分析领域为元数据定义公共的元模型和基于 XML 的元数据交换（XMI）。CWM 作为一个标准的接口，可以帮助分布式、异构环境中的数据仓库工具，数据仓库平台和数据仓库元数据存储库之间轻松实现数据仓库和业务分析元数据交换。CWM 提供一个框架为数据源、数据目标、转换、分析、流程和操作等创建和管理元数据，并提供元数据使用的世系信息。

CWM 元模型、规范以及生成的产品同 MDA 非常契合，从技术平台角度来说，所有的平台相关模型（CWM XML、CWM IDL 和 CWM Java 等）都是自动地从平台无关模型（CWM 元模型和规范）中产生的；从产品平台角度来说，平台相关模型（比如 DB2、ORACLE、SQL SERVER 等）都是人工从平台无关模型（CWM 元模型和规范）中构造出来的。

我们需要管好数据资产的“生老病死”，好比人一出生就要注册身份一样，数据从一出生就需要被注册和标识，一个没有标识的数据没有价值，我们往往给数据的“身份”取一个好听的名字，即通常所说的数据字典。注意，我这里的数据字典是广义的概念，不仅仅是指对于数据仓库中的一些表字段的定义，其含义要的广阔的多，包括技术描述、业务描述、血缘关系、数据归属、数据位置等等，给大家看一张元数据的功能图，大家就大致了解了应该包含哪些内容，这是个庞大的体系，远远超过你的想象，而且也远远不止这些：

数据资产管理第一要务是维护好一本数据字典，但现实中的问题很多。

1、缺乏管理意识

很多公司建了不少系统，但却没有严格意义上数据管理团队，没有任何数据管理的规范和流程，比如说没有维护数据字典，即使对于数据有定义，也仅仅存在于设计文档中，但并没有独立进行管理，因此，即使是再大的企业，产生再多的数据，如果这些数据没有系统化地标识和管理，实际上它是很难作为一种资产而创造更多价值的，因此大数据时代，并不是你有数据就代表有数据竞争力，首先得你能够很好的管理好它。

2、缺乏管理手段

很多公司把数据字典当成是设计过程中的产物，自它上线以后就没人搭理了，大量的线下PDM散落在各个地方，数据字典可能还藏在开发人员脑中，但员工会离职，调离岗位，也会忘记，当数据出现问题或需要用到数据的时候，往往连最基本的定义也不清楚，也不知道是谁开发的，只能去核查代码，这个时候的效率往往比较低，这些数据的资产价值也大打折扣，特别是很多公司需要更换厂家的时候，完全缺失的数据字典、大量的沟通成本，含糊的自我保护解释，导致代价是如此巨大。

3、缺乏自动方式

即使一些公司注意到了数据字典的重要性，因此安排了专门的维护团队人员，甚至采购了一些管理系统，比如元数据管理系统，但更多是后向的方式，这些系统的数据字典，更多需要依赖人工录入及日志解析的方式，往往在系统上线后补充进来，但实际上由于人维护的可靠性及解析的能力不足，数据管理系统和实际源系统的数据定义并不一致，这种不一致问题会逐步扩大，直至失去本应有的价值。

4、缺乏系统衔接

大数据平台（或者传统数据仓库系统）其数据来源于各类源系统，比如浙江移动的大数据平台的数据来源于40多个源系统，横跨了B（业务）、O（网络）及M（管信）三域，各个源系统的接口总计超过1600个，字段近5万，大家在做数据仓库项目时，往往毕其功于一役，项目化的进行一次数据字典梳理，但实际上问题很多，首先你能确保你梳理的数据字典跟源系统完全一致吗，其次，源系统的变化你能及时感知到而自行作出调整吗，最后，你有足够的人力去跟踪这些变化，打造一本真正与时俱进的数据字典吗？我想大多数企业都会觉得困难，因此有这么一说，90%以上的数据管理系统是失败的。