数仓数据标准详解-2022

在数据治理方向，企业也需要有明确的数据标准。比如政务，银行保险行业中，国家都有相应的数据监管要求，必须严格遵守相应数据标准。

除了监管要求，越来越多企业随着业务和组织发展，本身积累了大量繁杂，结构不一的数据，导致数据提取使用困难，数据理解歧义等诸多问题，背后的原因就是企业的数据标准管理不达标。

01  什么是数据标准

1.数据标准的概念

首先，我们要明白什么是数据标准概念，根据中国通信院的定义：数据标准，是指保障数据的内外部使用与交换的一致性和准确性的规范性约束。

我们可以简单理解，数据标准，就是组织内部各个部门，各个数据相关人，共同使用的一个语言，达成的一个共识。

比如一个部门内部在开会，有人说方言，有人说英语，有人说普通话，大家由于语言不一致，导致沟通费时费力。而如果制定统一的标准，比如统一使用普通话，那么沟通会顺畅很多。

秦始皇统一六国之后，要求国内统一文字，货币，度量衡，本质就是制定社会的标准规范，目的是让社会能够更加高效运转。

所以，对于企业来说，数据标准，为业务运营和管理决策提供相应的保障。如果没有标准，那么企业的运营管理将会混乱不堪。

2.数据标准管理不善导致3大问题

很多组织在发展初期，因为数据量不足，导致数据标准缺乏整体规划，等组织发展壮大，发现各个部门的各个系统由不同厂商和商品搭建，导致数据共享困难，理解歧义，无法有效分析。

组织，通常因为没有制定严格的数据标准，管理不善出现以下3种问题：

（1）数据共享难以实现

由于各个系统的数据存储结构不一致，分布在多个系统的不同数据，没有统一的标准，无法关联整合和分析，影响不同系统之间的数据共享。

比如一家大型企业，老部门使用老的A系统，新部门使用新的B系统，不同系统的存储结构不同，导致数据共享困难。

（2）数据名称，标准不规范，语义不清

没有数据标准，不同系统对同一种数据，有不同的命名，业务含义，取值范围，容易造成同义不同名，同名不同义，让数据使用者产生误解的情况。

比如同一银行的不同网点，有的系统把客户叫做用户，有的把客户叫做客户，有的把客户叫做开卡客户，指的都是同一含义，但因没有数据标准，导致有不同名称，让业务数据统计分析，部门之间沟通理解费时费力。

（3）数据理解沟通成本高

数据没有统一规范和标准，对于同一数据，不同人员的理解不一致，导致沟通交流成本增加，降低企业组织内部的运转效率。

比如同一家公司的北京和武汉业务部门，北京部门把消费金额超过10万的客户设定为vip客户，武汉部门把消费超过5万的设定为vip客户。两个部门对vip客户的理解不一致，也导致总部系统管理分析用户数据混乱，无法对用户进行系统归类运营。

3.数据标准规范3大分类

在企业日常管理和业务发展中，我们一般会从业务，技术，管理维度去分析和拆解数据标准。

（1）业务标准规范

业务标准规范，一般包括业务的定义，标准的名称，标准的分类等。比如企业的CRM系统，要判断客户是否为老客户，我们要通过用户消费金额，消费频率，消费日期等维度做判断，这个维度就是数据判断标准。

对于业务人员而言，数据标准化建设，可以提升业务的规范性，提升自己的工作效率；同时，保障了数据含义的一致性，降低了沟通成本，给业务的数据分析，挖掘，信息共享提供了便利。

（2）技术标准规范

技术标准规范，是从技术角度，看待数据标准包括了数据的类型，长度，格式，编码规则等。比如企业员工要在公司系统填写客户信息，那么客户的姓名，手机号这些数据，都需要设定相应类型，长度规范，如果你把姓名输入手机号框，系统就会显示错误。

对于技术人员来说，有了数据标准规范，工作效率可以大幅度提升，降低系统的出错率，有助于提升数据质量。

（3）管理标准规范

管理标准规范，是从管理角度，看待数据标准。比如数据标准的管理者是谁，如何增添，如何删减，访问标准条件等，都是一个数据规范要求。

对于管理人员来说，数据标准建设，保证了数据的完整，准确，为数据安全，经营决策都提供了支持和保障。

02  数据标准3大作用价值

我们知道了数据标准的概念和以及治理不善的3个问题，明白了它的重要性。数据标准建设管理，是数据治理中重要的一环，对于企业来说，主要有这3大作用：

1.保证数据的统一规范和完整

拥有统一的数据标准，企业内部的业务数据，管理数据，技术数据，都有一个流程和规范，保证了数据定义和使用的一致性，降低企业内部的数据沟通成本。

2.数据标准，提升数据质量

拥有了数据标准，企业内部就可以对数据进行判断，核查，删减，减少了无效数据的转换，促进了数据更好地集成，提高了企业内部整体的数据质量。

3.数据标准，为后续发展做保障

不少企业在不断发展壮大的过程中，数据量会不断增大，数据系统会增多，这个时候往往需新建系统，而之前的数据标准，可以为后续的数据标准规划做基础，大大减少系统数据标准建设的工作量，为企业后续的发展做保障。

03  数据标准管理实施6部曲

既然企业数据标准管理这么重要，对业务，技术和管理三个方面都有很大的帮助，那么企业如何把数据标准具体实施管理呢？数据标准管理落地实施，主要有6大步骤：

       

数据标准实施流程图

1.制定目标和界定范围

首先，第一步是组织需要制定数据标准目标，需要达到什么水平，数据标准管理要达到到什么程度，战略方向目的要明确。

接着我们需要界定数据标准的范围，根据企业自身的管理和业务发展需求制定数据标准，比如业务场景需求，管理需求，产品功能需求等，制定客户标准，产品标准等。

2.数据标准调研

第二步，组织需要对整个组织的数据标准管理情况进行调研和汇总。通过调研企业数据标准现状，弄清哪些系统的数据标准问题比较严重，哪些字段不符合标准，为后续的数据标准落地提供支撑和指导。

数据标准管理调研，通常有3个步骤;

第一步，用调研表的方式，去调研企业内部组织标准，名称规范情况，业务系统表等情况

第二步，分析收集的资料问题，与国标，行标，企业内部需求标准进行对比

第三步，制定数据标准落标策略，比如哪些标准非强制，哪些是强制的，对哪些字段，表名称需要进一步统一。

3.明确组织和流程

把数据标准目标与企业内部情况了解后，第三步，企业需要明确组织和管理流程制度，这样才能使数据标准项目推进落实。

（1）数据标准管理角色制定

数据标准管理组织，是数据标准治理项目的重要推手，不可或缺，很多企业的数据治理项目失败，就是没有相应的组织推动，最后不了了之。

数据标准管理角色，通常有数据治理管控委员会，数据标准管理岗，数据标准管理专员，IT项目组这4个。

数据治理管控委员会，是组织领导层承担的，主要目的是领导各个部门的工作，负责组织协调和推进，落实监督的作用。

数据标准管理岗，是由IT部门负责人担任，需要总体协调和管理数据标准工作，负责数据标准项目的工作开展。

数据标准管理专员，是由各个业务部门业务员担任，主要作用是对数据标准的执行，根据实际情况，提出优化新的变更需求。

IT项目组，是由企业内部的IT项目人员造成，主要负责数据标准落地执行，也是需求提出方。

企业可根据自己实际情况，灵活调整组织架构，制定出适合自身的数据标准管理部门。

（2）管理流程制度制定

确定了数据治理相关组织人员后，接下来企业需要结合自身实际业务和管理场景，制定相应的管理流程制度。

常见管理流程有：

①标准变更流程。如果数据标准发生变化，相应的变更申请，审批，通过的流程制度是什么。

②标准落地执行。标准制定后，是如何随着业务，技术，管理流程落实到具体的场景需求上。

③数据标准管理制度。平时数据标准是如何管理，什么时候检核，什么时候定期分析管理效果，如何提出完善修改建议等。

4.数据标准编制与发布

治理目标，企业内部调研，组织架构和流程制度搭建好后，第四步，就是企业需要根据实际情况，制定自己的数据标准，并且发布使用到具体的管理，业务场景中。

数据标准编制，通常有4个步骤：

（1）制作数据标准管理文档

第一步，收集国标，行标要求，并且结合企业自身管理和业务要求，形成自己独特的数据标准管理文档。

（2）制定初版数据标准

企业业务和管理需求与IT数据管理岗协调沟通，制定出初版的数据标准管理文档。

（3）数据标准审核

数据管理专员，逐条与数据标准管理部门讨论，是否符合数据标准，是否能落标，是否符合业务发展等，从多个角度对标审核，最终得到定版标准。

（4）定版数据标准发布

标准制定好后，我们需要向数据治理委员会汇报定版标准，内部发布，收集反馈，以及后续对数据标准进行维护和更新。

5.数据标准宣贯

数据标准定版后，企业需要向内部组织一场数据标准的宣贯会。宣贯会主要有3个目的：

①阐述数据标准的意义和价值，提升企业内部人员对数据标准管理的重视程度

②数据标准管理方法的宣贯，研读管理方法，为后续数据标准提供制度依据

③数据标准的落标培训，提高使用人员的熟练度，让数据标准可以更好更快实行，发挥价值

6.数据标准平台落地运营

宣贯会结束后，最后一步就是数据标准在数据标准平台进行落地，主要分为4个步骤：

（1）数据标准录入

第一步，企业需要把已经制定好的数据标准，直接录入到相应的数据标准平台系统。

（2）数据标准评估

系统用新的数据标准，应用于之前陈旧的数据中，测试数据效果是否明显。通过管理，技术，业务的维度查看效果，进行适当修改后，满足大部分要求后，投入使用到实际场景中。

（3）数据标准效果跟踪

企业需要定期评估，持续跟踪数据标准管理的落地情况，它是否提高了企业运营管理效率，为业务辅助做提升。

最后就是数据标准管理的日常运营提升。数据使用人员通过不断深入接触到新的场景和需求，数据标准需要新增，修改，删减，变更等，不断完善，达到更加适应企业管理经营的目的。

04   数据标准治理平台

我们已经知道了数据标准在企业数据治理的重要性，它是企业管理经营顺畅的必修课，而想要实现良好的数据标准，企业需要一个功能丰富强大的数据治理平台。

数据治理平台提供了一套完整的数据标准管理流程及办法，通过统一的数据标准制定和发布等一系列的活动，结合制度约束、系统控制等手段，实现企业大数据平台 数据的完整性、有效性、一致性、规范性、开放性和共享性管理，为后续数据质量检查、 数据安全管理等提供标准依据。

数据治理平台的数据标准管理功能，有4大特点：

1.配置灵活的数据标准属性

企业有业务，技术，管理不同的需求场景，可能存在需要录入不同属性的数据标准。

为了满足不同项目对数据标准的设计，数据治理平台提供了数据标准集管理，内置了业务属性、技术属性、管理属性、质量属性、主数据属性、生命周期属性等供用户选择使用，并支持自定义属性，全方位满足用户需求。

     

新建标准集

2.完备的数据标准审批

当企业有新的数据标准需求，可以新建数据标准保存，并发起审批。

审批支持通过、退回操作， 可采用邮件或任务提醒的方式通知参与审批的用户。同时还支持审批列表的搜索，快速定位数据标准，操作数据一览无遗。

      

数据标准发布审批

3.智能精确的数据标准落地评估

数据标准制定后，企业管理者想查看执行效果怎么办？

数据治理平台提供对数据标准进行落地评估工，并支持多种方式评估，包括单条数据标准、标准集进行评估，同时支持通过数据标准和元数据双向评估标准落地情况，每个数据标准效果反馈轻松了解。

       

数据标准落地评估结果

4.灵活有效的数据标准监控

数据标准的变更，使用，删减情况，会影响整个组织的运营管理，如此重要所以企业需要对数据标准进行监控。

数据治理平台的数据标准监控功能可以对数据标准的 KPI 指标进行监控，包括已生成标准个数，失效个数， 提交个数，通过个数，退回个数等指标。另外，监控表可根据客户需求进行二次改造，让管理者实时了解数据标准的使用，变更，删减情况。