当前位置：网站首页>案例分享｜金融业数据运营运维一体化建设

案例分享｜金融业数据运营运维一体化建设

2022-07-04 14:14:00 【InfoQ】

作者：云智慧

售前

架构师 Jaden Li（李俊杰）

一、案例背景

金融行业正在进入以数字化为导向快速发展的关键时期，相比于其他行业，金融行业的运营运维建设有着 IT 系统规模庞大、业务系统跨代且复杂的特殊性，而且金融监管机构对金融业的稳定性、安全性有着严格的政策要求，但很多金融机构都存在由于顶层数据指标不规范和指标体系建设不完善，导致 IT 技术指标与业务运营指标同时存在着数据质量较差、关联性较弱、场景覆盖分散等问题。

本案例在制定项目阶段性目标时充分考虑到项目各建设阶段的真实需求与产品能力的匹配度，以及赋能业务场景建设的深度等因素，以阶段化的思路协助客户持续性、体系化地建设运营运维一体化平台。下面将介绍云智慧产品体系在项目不同阶段进行目标规划的定位。

阶段一：能力
 
平台化
 
，
 制定该阶段目标时更多地关注如何将产品能力打散进行功能化重组，从而打造满足金融行业运营运维综合需求的平台功能及系统能力。同时在建设过程中全面梳理企业运营运维场景数据模型，通过本平台承载并沉淀金融行业属性的方方面面，包括数据治理方法论体系等。

阶段二：平台场景化，
 阶段一基于平台能力建设的业务场景能力已初步具备可复用性，该阶段的目标将着重延伸至核心业务场景建设，并继续摸索如何提升业务场景能力的复用效率，为后续持续深化场景建设奠定好基础。

阶段三：深化场景建设，
 该阶段主要包含异地多中心部署架构升级及综合运营能力提升，保障已经在各核心业务场景建设完成的运营运维成果。

二、业务场景

（一） 客户服务场景

业务痛点
：客户服务部门在解决面向所有业务条线的投诉工单时，需要繁琐地登录六七套系统才能完成结果查询，当涉及营销活动异常时要连线机房的同事使用命令行终端分析业务日志...

技术难点
：营销业务系统日志量大（40+亿/每天）、日志链路规范治理复杂、业务敏态数据最终一致性要求高、业务场景建设规划周期短（单周内测、双周上线）。

解决方案
：为了应对企业客户投诉及业务数据查询等相关场景，通过云智慧统一采控中心产品对接所有数据源，使用云智慧运维数据平台产品提供流式数据计算及数仓能力完成数据治理工作，使用云智慧表单低代码产品以可视化拖拽的方式设计业务查询界面，最终在生产环境已上线包含但不限于远程转账、生活缴费等 50+ 客服查询场景，满足了客户服务部门一站式分析用户全场景行为，便捷地查询工单所涉及业务数据的需求，以最快的速度解决并关闭工单，减少工单流转时间，减轻客服部门工作负荷的同时提升消费者的满意度。

（二） 业务监控场景

业务痛点
：由于营销活动数据的全维度洞察能力受限于低效的传统大数据分工模式，导致各个重大营销活动的效果都受到羊毛党行为的冲击，事前少手段、事中反应慢、事后叹复盘。

技术难点
：流式数据多流勺兑逻辑复杂（前置解密用于关联勺兑、后置脱敏用于合规落库）、流式数据全流程处理时效性要求高（近实时 <= 4min）。

解决方案
：借助云智慧运维数据平台产品的流式计算能力，将运营部门分析营销活动过程中的用户异常行为过程沉淀为一套业务异常监控常态化的任务编排，比如票券异地核销路径监控任务、微信免单套利趋势分析任务。

（三） 运营分析场景

业务痛点
：客户面对几十上百套业务交易系统，难以基于人工经验配置的监控策略去判断各个核心业务场景的运营指标与技术指标运行态势是否正常，进而缺少类似业务监控模板的手段对同类业务场景进行统一纳管、运营监控分析，比如业务交易质量监控、业务交易趋势分析等场景。

技术难点
：智能类算法难以灵活、稳定、准确地根据各个核心业务场景的数据特征进行学习并自动生成监控阈值（动态基线、频域分析、自动阈值等）、日志模式识别粒度动态变化不定。

解决方案
：通过云智慧监控中心产品自由拖拽可视化控件设计业务主题监控看板、使用云智慧算法中心产品的算法实验室对算法泛型进行训练、自动标注噪点，训练出适应客户业务数据特征的算法泛型，现阶段已上线 1000+ 数据分析模型支撑 110+ 个业务主题运营分析场景。

三、功能框架

该案例的整体功能框架自下而上可分为数据平台层、数据治理层、功能服务能、业务场景层五个层级，各层级功能如下：

数据平台层
：具备异地多中心容灾能力；其中隐含了项目一二期阶段已经建设好的数据接入层，支持实时同步生产环境业务数据库敏态数据、API/RPC 方式接口类型数据、类似 Kafka 消息队列数据等，在数据接入的过程中对数据流进行状态管理、流量监控、数据质量监控等全面的数据质量标准化检查。

数据治理层
：对实时接入的业务数据流进行数据清洗、数据勾兑、数据压缩等数据质量标准化处理，保证写入平台的业务数据满足数仓的数据质量规范要求。实时数仓体系分层为数据贴源层（ODS）、数据仓库层（DW）、数据应用层（ADS），其中数据贴源层（ODS）是数据源接入到本平台后未作任何数据处理的镜像数据表层，数据应用层（ADS）是面向业务场景直接可消费的成品数据；

功能服务层
：该层包括基于数据治理搭建的指标体系、基于业务链路监控看板管理的业务引擎、集成了 7 类算法运维场景 24 种智能算法类型的智能引擎（统一算法中心），以及告警引擎。

业务场景层
：运营侧包含客户服务查询、交易质量分析、产品地图管理、业务引擎等场景模块，运维侧包含业务指标监控、日志模式识别、日志异常检测及算法自动推荐、专家标注等能力模块。

四、案例总结

云智慧作为国内领先的全栈智能业务运维解决方案服务商，致力于业务运维的智能化升级探索，以全场景智能业务运维解决方案作为抓手，保障客户业务连续性、促进客户业务服务创新。

该案例中的平台经过三个阶段的持续迭代升级，成功打破了全域数据之间的壁垒，弥补了传统大数据平台在实时数据分析方面一贯存在的弱势，已在多个业务部门广泛使用并得到良好的口碑反馈，此案例的成功从某种意义上代表着金融行业运营运维一体化建设的一次重大突破。同时，该平台的场景化能力建设也为未来的运营运维工作提供了更多的想象空间，通过对全域数据进行多维度地分析挖掘为运营运维一体化模式的创新激活更多地可能性，助力客户继续保持行业领跑的竞争优势。