当前位置:网站首页>数据中台落地实施之法
数据中台落地实施之法
2022-07-07 05:23:00 【马晓东国云数据CEO】
让数据中台真正落地是实现数字化转型的重中之重。企业做好数据治理、体系建设及人才配备等前期工作后,接下来要做的是数据中台实施落地的关键。
企业首先要掌握数据中台建设的三大核心要素:选对数据建设方式、厘清建设思路、避开数据中台建设误区,最终低成本实现数字化转型。
01
数据中台设计理念
数据中台作为当前数字经济时代企业最为关注的技术平台,从提出到响应,再到成为传统产业进行数字化转型的必备手段,虽然仍未形成统一的定义,但其背后的架构设计原理和建设理念始终是不变和通用的,即改变以往数据治理围绕“聚通用”的处
理方式,形成“用通聚”的数据建设模式,从而通过复用数据资产,实现前端业务的高效创新。在此建设原理的指导下,根据企业规模和特性,制定契合需求的中台建设方法。
数据中台建设的三大核心要素
从数据中台的使用价值出发,其建设内容应具备三大核心要素,缺一不可。
01 数据资产治理
当企业市场存量变小,传统粗放的经营模式已不能为企业带来经济增长时,企业信息化建设被提上日程。电子管理系统帮助企业初步实现了组织架构调整和信息化部署。而此时,外部市场增量仍被继续压缩,简单的市场推广不再奏效,以数字化驱动前端业务快速创新并降低内部成本便是数据中台的最大优势。
维护数据、提供数据服务以驱动业务增长的工作往往由企业IT部门完成。结合业务特性,凭借数字技术,IT部门可以为“前线”业务部门源源不断地提供“弹药”。其中,数据资产的沉淀是至关重要的。因此,在数据中台的建设前期,需要通过传统的信息化管理软件及新型数据融合技术,将企业的内外部数据进行串联,通过盘点、规划,呈现所有的数据资源;通过大数据开发工具打通、整理数据,包括探查数据血缘关系、保障数据安全。
数据资产治理离不开数据模型管理,模型管理能够帮助中台统一数据字段命名,形成统一的开发规范,实现有效的数据识别。经过以上多重数据治理,可形成供企业复用的数据资产。另外,由于企业业务及产品不同,每家企业通过软件技术搭建的数据中台架构也存在差异,并没有通用或标准的数据中台架构。企业组建中台架构需要以自身的信息化建设为基础,综合考虑数据体量、业务特性。
02 共享数据服务
在数据中台底层技术架构搭建完成并形成可被调用的数据资产后,还需要根据业务部门的需求构建数据模型,以便为前端业务团队提供可统一调配、共享的智能化数据服务。共享数据服务可以为前端业务提供安全可靠、操作便捷、规范统一、延展灵活的技术支持,为前端用户、产品研发、客户服务、市场营销等提供标签提取,从而为精准营销、用户画像等不同方面的应用提供数据参考。
03 数据智能应用
数据中台最终的应用方向是为企业提供提升效率、降低成本、创新业务的核心推动力。因此,在完成数据中台底层技术架构及数据治理工作后,数据智能应用便成为考验中台实力的试金石,检验数据中台能否通过数据能力,比如实时查询能力、批量处理能力、报表展示能力、数据安全能力、数据管理能力等,帮助业务人员完成数据的智能提取和应用工作,帮助企业掌握数字化转型的趋势并制定发展策略。
数据工程师、业务人员可以基于数据中台的交互模式,统一数据处理流程,实现中台内数据的自助处理,加快数据驱动业务的进度。同时,各种数据的关联分析和分析结果的统一为企业在数据智能应用方面提供了更为客观的分析维度。
数据中台的规划设计理念
如何判断一个平台是不是数据中台?
数据中台应该具备什么样的能力?
我们通过找寻这两个问题的答案,一起探索中台架构的设计理念。而在笔者看来,以为用户提供持续不断的业务产品创新为建设目标,将后端管理系统等各种资源转化为便于前端业务持续复用的能力,便是数据中台存在的意义。转向2B业务、提供技术输出和工业转型方案的互联网巨头,浸身信息化领域多年的传统IT厂商,或持续深耕企业数字化服务的技术型创业公司,在制定数字化转型解决方案时都需要深入思考这两个问题。
01 梳理基础业务关系,为中台建设提供全局思维
企业建设数据中台时需要考量自身的业务特性及数据体量。在建设数据中台之前,企业需要先梳理内部的业务关系,确定建设方向。
例如,数据部门与业务部门需要协同合作,梳理业务类型、业务领域边界、各个业务领域需要的基础服务,以及业务领域之间的连接标准,制定或完善统一的业务能力标准、运营机制、业务分析方法、业务执行框架并提供运营服务的团队组织架构。
基础业务关系经过梳理后形成的业务全景图可以帮助中台架构建设人员和前端业务人员更好地理解业务标准、业务需求。业务全景图不仅可以指导数据部门建设数据中台,还为搭建数据中台架构提供了实施标准和管控标准。
02 注重能力沉淀并保持延展性
数据中台架构的搭建、完善、应用须着重于沉淀数据能力,中台建设须具备延展性,为企业未来业务拓展及新产品研发提供更多数据支持,从而让企业持续快速地奔跑。但企业数据能力的沉淀并不是一蹴而就的,必定要经历由局部优化到全局优化、在应用中逐步完善的过程。
行业消费属性不同,企业的经营侧重点也会不同。比如高库存、高消耗的服装行业经营侧重点在于供应链。在传统服装企业的运营模式下,一线营销端的数据不是实时更新的,无法为供应链提供及时的数据支持。因此,整合供应链端数据,达到与营销端数据实时更新,成为服装行业进行数字化转型的第一要务。在完成供应链与营销端的数据更新后,服装企业的市场部门、运营部门、管理部门等非核心业务部门可以逐步进行数字化变革,最终完成全局变革。
其他企业亦可根据业务重点进行数字化转型,先从局部入手,建设适配的、可延展的数据中台,从而满足未来由局部业务向全面业务延伸而产生的数据需求。
尽管经过了前期业务关系的梳理及数字化战略实施标准的规范,但中台架构是否符合企业最终的应用需求,能够为前端业务贡献多少价值,仍须在业务应用过程中进行评估。
02
数据组织能力建设
可持续发展是每个参与市场竞争的企业的奋斗目标,但当企业发展到一定规模时,总会由于环境或自身条件的限制碰到成长瓶颈。当然,这并不意味着企业将从此一蹶不振,只要解决抑制成长的问题、避免业绩下滑、挖掘新的核心竞争力和发展动力,企业仍然能够再次实现持续增长。
在数字经济时代,新型数字技术将成为企业提升持续竞争优势的主要动力。数字化转型已成为企业在数字时代寻求业务突破的有利抓手。而企业是否具备数据组织能力,是其数字化变革能否成功的重要考量因素。
在传统的管理理念中,企业成功的标准是具备正确的战略方针与优秀的组织能力。组织能力指的是团队能够发挥整体战斗力,能够在某些方面明显超越竞争对手、创造更高价值。而在数字化浪潮席卷各行业的今天,企业成功的关键因素已不再是难以模仿的组织能力,而是对数据管理与应用进行自如管控的数据组织能力。
企业在进行数字化转型的过程中,需要明确知道数据价值的提取过程并不是技术层面的问题,而是一种数据应用的思维模式,是一种组织能力。从管理层到一线团队都应该思考企业需要的数据在哪里、怎样才能获得数据、应该如何使用数据。解决这3个问题的过程就是企业发挥数据价值的探索过程。这一过程需要企业内部多部门协同联动,发挥各自的效用。
在数字化转型过程中,企业需要做到以下几点:赋能技术创新、业务引导,处理好内外部各类数据之间的关系,让底层数据架构更丰富;建立业务部门、技术部门、市场运营部门之间的数据汇聚和动态关联的关系;在数据层面和业务层面共建各部门间的数据能力和数据服务;在行业标准参差不齐的情况下,建立规范化、统一化的数据标准,提升数据质量。
企业的数据组织能力具体体现在如下几个方面。
01 企业自身的数据问题和状态
企业需要清楚了解自身拥有数据的量级,知道数据的价值以及数据应用率,根据这些数据能否形成有利于企业发展的数据资产,评测是否值得通过数字技术进行挖掘。因此,企业需要明确数据存储情况,利用组织能力将其沉淀、挖掘和利用。
02 外部数据的连接与应用能力
一些涉及消费场景变化、行业发展趋势分析等动态数据的应用是需要借助外部数据完成的。因此,连接和打通外部数据、实现内外部数据共享,也是企业在发展过程中必备的组织能力。
03 数据与商业场景融合的能力
数据的获取渠道和应用方向多种多样,例如C端消费数据可从各种消费场景中获取,B端生产数据可从车间作业的信息管理系统中获取,并应用于业务部门及管理运营部门。
有些数据对提升内部生产效率、降低成本助力颇大,有些数据可助力产品研发、业务拓展,有些数据可用于挖掘合作客户的价值,有些数据能够为市场营销部门赋能,甚至有些数据可完成上下游产业链的整合,为企业并购、整合、投资提供参考建议。发挥数据价值需要从前端应用进行思考,首先思考企业该匹配什么样的数据组织能力,进而调配资源、配备技术、汇聚能力,包括资本引入、品牌打造、人才培养、技术引进,从而帮助企业深入推进数字化转型。
03
数据建设方式对比
随着大数据时代的到来,集成式数据建设方式已不能完全胜任大数据产业的数据处理任务,这为国内数据建设方式的创新提供了成长机遇。数据中台的出现便是顺应了国内数字技术的发展与市场环境的变化。
传统集成式数据建设方式
下面以某公司为例回顾传统数据建设方式。该公司存续十年以上,未解决数据分析需求,因此购买了BI工具;后来,公司的数据量不断增多,又购置了大数据平台工具;再后来,数据越来越复杂,治理难度越来越大,便又配备了数据治理工具;之后,随着数据同步的要求越来越高,该企业又购买了数据同步工具。就这样随着时间的推移,该公司购买的数据工具越来越多,这些数据工具功能单一,无法满足业务部门不断变化的应用需求。
这是由于企业在采购信息化管理系统时,市场上提供的都是单一功能的产品,无法从整体上提供统一的、可架构的、可延展的信息管理系统。
而集成式数据建设方式虽然能为企业解决某些方面的数据管理问题,但因为企业采购的信息化管理系统隶属于不同厂商,型号不同,系统内对相同业务的定义和解决方式并不一样,所以各个系统只能解决各自的问题,系统内的数据无法自由流动,无法自行联通。譬如数据库、ETL工具、数据挖掘工具、数据分析工具等,均是企业进行信息管理的传统手段,但它们出自不同的厂家,具有不同的型号,仅能单独解决数据存储、数据加载、数据挖掘、数据分析等问题。
又比如,某银行具备良好的技术实力,在信息化管理方面投入较大,在业务数据、运营数据等数据应用链条上,至少配备了七八款信息化管理软件。对于银行来说,最大的难点在于不同的链条上采用了不同的产品,系统与系统之间的数据标准不一致,数据孤岛严重,且缺乏定制化的数据产品,最终导致数据应用出现方向偏差,比如数据治理完善且正确,数据模型建设正确,但无法确定是数据同步出现了问题还是底层的数据没有清洗干净。由于这种集成式的数据建设方式缺乏对数据行为的全面记录,数据出错无法溯源,项目失败无人负责,因此企业对信息化产品满意度低。
另外,从国外信息化系统软件厂商引进的产品普遍信息化建设程度高,信息化细分产品完善,但是每家公司仅专注于各自产品的功能规划与设计,并不对数据的整体应用负责。比如,ODS系统的销售公司仅关注对自家产品进行优化与服务提升,售卖数据仓库的软件厂商也并不关心自家产品是否能与其他信息系统无缝连接。软件厂商并不是从数据应用的角度提供产品,这导致国内公司在配置国外软件系统后会遇到数据联通弱、数据出错频繁、数据应用价值低等问题。
新型数据中台式数据建设方式
某电商巨头旗下的网购平台、支付平台等多个业务体系都由数据库提供服务。但随着“双11”现象级消费活动的举办,几何级的交易量对数据库的内存提出了更高的要求,而这意味着上亿元人民币的采购支出。于是,这个以业务拓展和需求满足为主要市场增长方式的电商巨头化身技术研发公司,开始自主研发数据库之路。在这个过程中,数据中台架构的价值得以挖掘。
从整体上看,中国各个行业内的数据复杂度非常高、数据应用空间非常大,这也决定了配置国外的信息化软件系统不再可行。
在数字时代,数据中台作为企业数字化转型的有力平台,改变了传统的数据集成建设方式,满足了企业海量数据价值挖掘的需求。对于企业来说,数据中台架构建设的首要价值在于数据出错时可以追本溯源,业务报表、数据字典、运营报表等都可以通过中台体系完成数据的跟踪、解析、更正。这不仅为业务单元的数据应用提供了干净的数据底料,还将技术人员从应付简单任务中解脱先来。
04
数据中台建设思路
数据中台是商业模式从IT时代进入DT时代的必然产物,是从流程驱动转向数据驱动的必然结果。以数据中台为导向,凭借数据证明或判断决策,形成数据服务思维,最终实现企业数字化转型。
数据中台建设模式颠覆了传统的数据架构建设模式,从数据信息出发,注重与业务部门的具体情况相结合,合理运用资源,提高服务效率。
传统数据架构建设思路—“建治用”
传统的数据架构建设模式并不注重与业务部门具体情况的结合,只是单纯地遵循数据“建治用”的思路—先构建数据架构,然后对数据进行治理,最后考虑数据的具体应用。比如,企业会从IaaS(基础设施即服务)层到不同的PaaS(平台即服务)层,到DaaS(数据即服务)层,再到SaaS(软件即服务)层等进行建设。部分企业在传统的数据架构建设过程中难免会走错方向。一些公司会先利用云技术进行数据迁云,将数据打通,然后再治理数据,制作报表,之后再开发各种应用。这种建设思路花费的周期较长,企业可能会因为长时间看不到业务的价值而停止建设。
企业需要一种更为敏捷的方式来建设数据架构,用效果来检验建设方式的科学性,即从数据应用角度出发,思考如何治理数据。
新型数据中台建设思路—“用治建”
新型数据中台建设模式是通过梳理数据应用方向,推动数据治理,最终搭建一个完整的数据中台架构,以快速响应企业多变的业务需求。下图是新型数中台构建设思路与传统数据架构建设思路的对比,展现了数据架构建设思路的原理。
企业可从以下三点规划数据中台架构的建设思路。
01 梳理战略地图、业务地图、应用地图
一些公司在建设数据中台的时候,无法利用数据资源挖掘能为业务创收的部分,不能达到架构搭建的预期效果。因此,企业在搭建数据中台时,相关人员需要通过对数据应用进行梳理,解决业务部门的各种问题,从而实现降本、增效、创收的目的。同时,企业数字化团队需要根据企业发展规划构建战略地图,根据业务发展方向及维度构建业务地图和应用地图,并通过应用地图清晰地治理数据,管理整个数据体系。
02 以应用地图反推数据地图,确定数据治理路线
企业完成应用地图的梳理后,进行人员和资本配置投入开发时,鉴于资源和人手有限,可以先基于应用地图梳理出的部分数据进行治理,从而构建数据地图。在企业数字化转型的过程中,决定资源调配及资金配给的往往是企业领导层,而他们在进行决策时往往会忽视数据分析的作用。因此,企业的CDO需要通过与领导层沟通,确定数据治理团队的人员配给及资源供给,从而顺利确定数据治理路线。
CDO可以以电子邮件、视频会议或头脑风暴等方式向下级传输已经确定完成的数据治理路线,使技术人员及业务人员熟悉数据治理的内容和要求,提高数据的利用价值、扩大数据的影响范围。
03 以数据应用推动新型数据中台架构建设
某些公司在构建数据中台的过程中,担心数据中台会造成新的“烟囱”。所以新型数据中台架构的建设要满足开放性、可扩展性、长期性的特点。基于开放的数据中台架构,技术功能和应用列表等内容可以随着业务的发展进行增加或删减。这种新型数据中台架构,避免了在应用过程中为适应前端业务部门需求不断更改架构更改而影响底层数据流通及应用的情况,具备高度的灵活性和可扩展性,可以帮助企业随时进行数据治理及应用,真正实现数字化转型。
可见,“建治用”的传统数据架构建设思路已经无法满足用户的需求,而“用治建”的新型数据中台建设思路将作为未来主流的数据架构建设思路被各类数字化转型企业广泛采用。
--------END--------
边栏推荐
- Call pytorch API to complete linear regression
- eBPF Cilium实战(2) - 底层网络可观测性
- Interactive book delivery - signed version of Oracle DBA work notes
- Snyk 依赖性安全漏洞扫描工具
- Ebpf cilium practice (2) - underlying network observability
- Battery and motor technology have received great attention, but electric control technology is rarely mentioned?
- CCTV is so warm-hearted that it teaches you to write HR's favorite resume hand in hand
- Complex network modeling (II)
- Zcmu--1396: queue problem (2)
- Rainbond 5.6 版本发布,增加多种安装方式,优化拓扑图操作体验
猜你喜欢
Coquette data completes the cloud native transformation through rainbow to realize offline continuous delivery to customers
Analysis of maker education in innovative education system
Open3D ISS关键点
Famine cloud service management script
快解析内网穿透助力外贸管理行业应对多种挑战
Hisense TV starts the developer mode
【雅思口语】安娜口语学习记录 Part2
一文了解如何源码编译Rainbond基础组件
探索STEAM艺术设计中的创造力
Don't stop chasing the wind and the moon. Spring mountain is at the end of Pingwu
随机推荐
轻松上手Fluentd,结合 Rainbond 插件市场,日志收集更快捷
漏洞複現-Fastjson 反序列化
Use of JMeter
发挥创客教育空间的广泛实用性
使用BiSeNet实现自己的数据集
opencv学习笔记三——图像平滑/去噪处理
Qinglong panel -- Huahua reading
Coquette data completes the cloud native transformation through rainbow to realize offline continuous delivery to customers
Make LIVELINK's initial pose consistent with that of the mobile capture actor
Fast parsing intranet penetration escorts the document encryption industry
通俗易懂单点登录SSO
[quick start of Digital IC Verification] 11. Introduction to Verilog testbench (VTB)
电池、电机技术受到很大关注,反而电控技术却很少被提及?
Blob object introduction
Standard function let and generic extension function in kotlin
opencv学习笔记一——读取图像的几种方法
Open3D ISS关键点
Blob 对象介绍
Application of slip ring of shipborne radar antenna
Interview questions (CAS)