当前位置:网站首页>DataSimba推出微信小程序,DataNuza接受全场景考验? | StartDT Hackathon

DataSimba推出微信小程序,DataNuza接受全场景考验? | StartDT Hackathon

2022-07-07 16:16:00 InfoQ

近日,2022年首季StartDT Hackathon正式启幕,以
“质量与测试”
为主题,向奇点云的云原生数据中台DataSimba、消费者运营平台DataNuza开刀,力求进一步优化这两大王牌产品的性能,提升运维、测试的自动化水平和用户体验。

null
还是老规矩,奇点云黑客马拉松的选题均来自日常实践、客户服务和“吃狗粮”(技术团队作为真实用户先行体验),由攻城狮、产品经理们归纳、提出,票高当选:


  • DataSimba的运维指标小程序 _ 欢乐斗地组

  • 微服务体系服务域&存储域的UT的代码覆盖率、通过率 _ 光踪耀组

  • 微服务体系账户域&元数据域的UT的代码覆盖率、通过率 _ 啥是UT组

  • DataNuza的MA全场景覆盖测试 _ 风火轮组

  • 算法预测圈人 _ 追光者小组

  • DataNuza的MA性能测试监控 _ 打铁队

  • DataNuza的CDP标签计算性能优化 _ 性能怪兽组

参赛者来自DataSimba、DataNuza团队,根据选题分为7组,其中有半数小组选择“混搭”,毕竟老话说得好,“自古红蓝出CP”。

null
运维指标小程序
随时随地,一目了然

这是一个让运维工程师们又爱又恨的选题。

基于微服务体系,“欢乐斗地组”开发了DataSimba的运维指标小程序,把任务运行状态装进手机。无论在哪里,运维工程师都能随时查看任务运行情况,监控指标。
(再也不能说“手边没有电脑”了)

运维指标小程序demo截图
组长老君介绍:“小程序中的指标数据支持实时更新。各项目实例统计、实例状态分布、任务执行情况、任务运行时长排行TOP10、任务告警信息等均一目了然。我们也可根据项目实际情况,针对性呈现运维需求的指标。”
 
“这为任务运维提供了手机端方式的补充。”评委、资深技术专家牧然评价道,“项目团队克服了兼容性、页面层级错乱等多个挑战,最终呈现的结果是比较完整的,可以在真实场景中广泛应用起来。”
 
目前,该功能已正式上线,DataSimba的客户伙伴可向您的项目经理或商务顾问咨询试用。
 
Unit Test
扫除故障,提高质量

啥是Unit Test?

Unit Test,即单元测试,通常也被攻城狮们简称为“单测”,它是一种对软件中最小可测试单元进行检查和验证的方式,通过比较结果实际值与预期值,来判断执行代码的正确性。
 
在本季黑客马拉松,共有2个组围绕DataSimba的微服务体系进行了单测,完善了可行性验证:“光踪耀组”聚焦服务域与存储域,“啥是UT组”则聚焦账户域与元数据域,其中元数据域V4 Rest类覆盖率、V4 Rest方法覆盖率均达到100%。

null
null
两组成员强火输出中

“啥是UT组”组长元善介绍:“我们建议持续进行单测,比如写一个功能,就进行多场景单元测试。如有其他开发者改动代码,也应该改动单元测试,让其符合预期。每次部署都可以执行一遍所有单测,单测都通过,说明至少这些场景是符合预期的。”
 
通常来说,单测被视为程序的“一部分”,开发者完成编程后,应当继续完成单测——他们是最了解这段程序的人,由他们来完成单测往往效率最高。

另外一种情况是,当开发者们准备以现有的程序为基础,进行上层的开发,他们也会先进行单测,以规避程序中潜在故障对后续动作的影响。
 
“这次黑客马拉松,属于后者的情况。”“光踪耀组”的破破表示,“本次单测完善了对服务域与存储域绝大多数场景的可行性验证。我们在业务层构建前完成了一次集中的UT测试,来提升微服务体系的稳定性。长远来看,也有利于提升DataSimba整体的开发效率,同时有助于提高代码质量、减少程序缺陷。”
 
CDP标签计算性能优化
提升10-20倍!

你是否在为CDP标签计算效率低而困扰?
你是否在为CDP无法承受几百个枚举值而担忧?
你是否还在为千万级数据量下标签计算的内存溢出风险而烦恼?

这正是“性能怪兽组”解决的问题。
 
经过SQL逻辑优化,“性能怪兽组”将原先可能存在关联查询的地方进行调整,大幅提升了几百个标签关联查询的效率,同时消灭内存溢出的风险。

“无论在标签圈人,还是标签分析、人群洞察,多个方面的查询效率都得到了极大提升,甚至可达10倍乃至几十倍”,“性能怪兽组”组长恒生介绍,“而且这取决于圈人标签数,
你选择的标签数越多,提升越明显
。”

null
经测试,
日期类型的标签性能提升了3倍,数值类型性能提升了5倍,枚举类型提升高达8倍。而如果设枚举值到数百个,性能可提升上百倍
,充分满足了客户实际运营场景。

此处插播一则广告

CDP(Customer Data Platform,消费者数据平台)是奇点云消费者运营平台DataNuza的重要构成,支持全渠道数据融合,构建企业全局360°消费者标签;支持秒级圈人,随时找到目标消费群体;支持弹性标签,满足动态扩展的业务需求,让消费者运营不再被限定。

null
MA全场景覆盖测试
要满足全场景,也要节约资源

MA,即Marketing Automation,营销自动化,是自动执行营销任务的工具。它以可视化的流程编辑器的形式进行营销策略的制定,帮助企业组织全局营销战役。

以奇点云消费者运营平台DataNuza的MAP(营销自动化平台)为例:它提供可视化的营销编辑画布,运营可自由拼装、连接策略器,灵活创建规则化的营销链路,制定企业专属的客户旅程;定时、定期、行为事件营销,可基于人群、事件、AB测试等形式分流,实现多流程多层级的自动化营销;它还提供企业级扩展模板,支持运营场景、运营触点的灵活自定义扩展。

DataNuza架构图

那么问题来了,
面对一个如此灵活、复杂的平台,面对排列组合出的海量场景,应怎么做测试来保证覆盖全面,同时尽可能地节约资源?
一旦遇到问题,又应如何改变开发人员逐一排查的现状,
快速定位问题?
 
“风火轮组”这样做:
1、自动化用例测试:通过随机场景算法,自动生成用例场景并执行,完成不同策略的全量测试,提高测试效率;
2、精准策略链路测试:支持进行指定链路功能及性能的测试,并以可视化的方式回放用户数据的流转情况,提前测试出可能会存在的问题;
3、数据流转追踪:可视化展示用户数据流转,精确了解活动的触发和触达情况,以定位问题所在;
4、测试用例优化:引入测试用例设计方法论,利用正交法、因果图等测试用例设计方法来设计测试用例,用更少的用例覆盖更多的场景。

null
null
MA全场景测试demo截图

“我们将MA全场景拆分为更细粒度的三大模块——测试用例模块、自动化测试模块、问题检测追踪模块。”“风火轮组”组长张三总结道,“针对这些模块,我们开发了自动化测试用例工具、策略链路测试工具,以及数据流转追踪监控工具,并引入了正交法、因果图等测试用例设计算法,
覆盖全场景测试的同时,有效减低了人工投入成本,提高了整体测试效率
。”
 
此处再插播一则广告

MAP(Marketing Automation Platform,营销自动化平台)是奇点云消费者运营平台DataNuza的重要构成。MAP支持客户旅程可视化,零门槛即可完成个性化组装;包含多样营销策略,灵活制定基于用户行为的营销流程;内置智能营销引擎,支持完成实时大规模的自动化营销;可自由扩展场景,满足多变的运营需求。

null
MA性能测试监控
让营销活动智能可控

“打铁队”同样选择把目光聚焦在DataNuza的MAP。

MAP作为企业落地营销方案的主要途径、企业与消费者交流的核心枢纽,如何保证在实际运营过程中不出错——举个例子,如何保证在
百万量级活动人群
的情况下,每个人都能够按照编排路线执行;如何确保100%不会出现多发、错发、流程卡住等情况?当出现问题时,如何帮助运营人员
直接定位问题环节,快速止损

“打铁队”认为MAP全流程监控应该包含以下内容:
其一,服务器监控。MAP后台通过可视化看板实时显示CPU使用率、内存空闲率、MQ状态等基础信息,并对不良情况设置了告警提醒。
其二,MAP流程监控。对每一个营销活动状态进行监控,实时同步活动进度,以帮助运营及时发现问题。可设置节点监控,以供感知各策略节点的数据进度。
其三,MAP基线告警。针对活动设置基线和规则,例如时间(活动准时率、单层准时率)、人数(人数准确率、完整信息触达率等)、资源(单个策略器资源消耗率等),触发告警就会自动发送提醒至运营人员的手机、邮箱。如果活动实际情况产生较大变化,也可根据数据实时调整影响系数与指标体系。

基线管理配置demo截图

“我们把这次MA全流程监控的模块命名为Aurora。”“打铁队”组长朝歌介绍,“基线管理部分,我们使用了偏离预警算法,让告警更智能。在实践过程中,运营的问题暴露不再单靠运气,而可以充分了解阶段进度和结果,风险也能得到提前的预测和暴露。”
 
算法预测圈人
DataNuza能力再升级

DataNuza提供圈人画布,支持标签圈人、行为圈人、行为序列圈人、人群包组合圈人等多种圈人方式,满足多种业务场景,帮助运营随时找到需要的人群。

在此基础上,“追光者小组”提出了一种新的可能:算法预测圈人。
 
“追光者小组”构建了DataNuza的算法数据集底层模型,可灵活适配各种异构的算法预测结果表,从而具备了直接对接算法结果的底层能力,打下了算法应用的技术基础。
 
在圈人功能模块,“追光者小组”则增加了“算法预测圈人”节点,还支持与其他节点(例如标签圈人、行为圈人等)进行交、并、差、排重、拆分运算,运算后能保存人群包,且该人群包可以自动更新。

算法预测圈人节点demo截图
 
我们在原有多重圈人能力的基础上,叠加了算法预测能力,同时,也为未来DataNuza其他模块业务应用提供了底层基础。
”组长渡野谈到,“基于智能算法,企业客户可以用DataNuza预测用户未来可能发生的行为,比如流失概率、购买商品偏好、复购周期等结果,灵活设计人群运营策略,进行精准的人群圈选,实现更加数智化的消费者运营。”
 
“追光者小组”本次黑客马拉松的实践,不仅仅为DataNuza带来能力上的提升,也再次证明,云原生数据中台DataSimba与消费者运营平台DataNuza形成闭环,能切实为业务带来价值。

“追光者小组”协作实践链路
 
产品研发从不浮于想象。渡野介绍:“我们的选题灵感来自客户服务实践。DataSimba的算法工厂、指标工厂接入DataNuza,支持DataNuza形成算法圈人等全链路闭环,为企业消费者运营提效。
这也是‘数据驱动的消费者运营平台’DataNuza的独特之处。
我们是追光者,在追寻‘数智应用’之光,我们相信,这只是刚刚开始。”

从底层平台到上层应用
高质量数字化转型工具如何炼成?

短短3天,参赛者们在产品迭代、项目服务等“夹击”中,如期交上了答卷,为本届黑客马拉松画上圆满的句号。

比赛中,DataSimba、DataNuza两大团队密切配合,共同分享质量保障方法,让性能更优,让测试更简单,让问题定位更聪明、更高效。

双方的密切联动也不仅仅体现在“团队”,更体现在了产品本身:
DataSimba与DataNuza全链路打通,强强联合,实现产品能力再升级,充分激活数据价值。
参赛者们从业务场景和实践出发,活用技术,大胆创新,把数据智能的力量发挥到了极致。

评委、资深技术专家牧然表示:“DataSimba和DataNuza第一次联合参加黑客马拉松,就体现了深度协作。例如,DataNuza开始引入回放测试和链路跟踪验证,并使用算法模型评价有效性和覆盖率;
DataSimba算法工厂、标签工厂提供的算法能力和标签生产能力,完美连接了DataNuza的MA链路,增强了MA的能力
。”

本届黑客马拉松评委组
“短短3天时间,最后的结果超出了我的想象。”资深技术专家大门首次担任黑客马拉松的评委,对参赛项目赞不绝口,“‘风火轮组’提出的MA全场景覆盖方案,是一个我之前完全没想到的角度,加上算法工程师明觉的加持,既能满足场景,也能节约资源。‘追光者小组’打通算法工厂和标签到DataNuza的整个链路,赋予了DataNuza的新能力,让DataNuza有了‘降维打击’的能力。‘欢乐斗地组’则把运维做成了移动化,切切实实解决了用户的痛点。
这3个项目都是对原有技术、业务的创新,短短3天,就完成了从提出命题到方案设计,开发优化,总结及规划
。大家自己选题,按自己兴趣来做,真正做到了为兴趣努力。我觉得这点很有意思,人的潜力在这3天被激活了,让大家看到了更多的可能性。DataNuza以后每次都要参加黑客马拉松。”
 
评委、资深产品专家水墨说:“
我们永远都可以相信小伙伴们突然而来的创意、‘跨界’带来的思想火花以及高效的行动力。
”作为DataNuza的首席产品经理,水墨表示,参赛选手们
将算法数据智能应用了到实际的工作生产中,用更科学、更智能、更省力的方式,更高效、更全面地完成DataNuza全链路营销的测试与运维工作。
还有许多数据、算法与应用结合的智能应用,
方案富有创意又可落地。
“这让我们都非常兴奋。非常期待下一次黑客马拉松的精彩表现!”
 
什么是站在技术与业务交叉点上的数据中台?
什么是真正“数据驱动”的消费者运营平台?
从底层平台到上层应用,高质量数字化转型工具如何炼成?
本届黑客马拉松,正是我们的答案。

彩蛋:他们喜提奖金

本次马拉松共决出3支优胜队伍,他们被称为“史上最卷TEAM”,喜提奖金:“风火轮组”获冠军,“追光者小组”第二,“欢乐斗地组”获得第三。

1
 风火轮组
感谢DataSimba团队和DataNuza团队联合组织了本次黑客马拉松,让我们有展现自己的机会。
感谢小伙伴这段时间的付出,最终拿到第一名也是对我们最终成果的认可,十分开心。后续我们也会不断完善“风火轮”工具组件,让它成为DataNuza不可或缺的一部分。
最后,希望DataNuza踩着我们“风火轮”,跑得又快又好。

2
追光者小组
感谢公司给我们这次孵化产品的机会,并对我们的成果给予了非常大的肯定。未来,我们一定会不断追寻“数据智能”的广阔应用,持续帮助客户挖掘更多的数据价值!

3
 欢乐斗地组
有点激动,有点感动,从第一届到第五届,第一次得奖,大家都要哭了 没有遗憾了,下周川**菜馆安排上️。

null
原网站

版权声明
本文为[InfoQ]所创,转载请带上原文链接,感谢
https://xie.infoq.cn/article/a94dec92764ec7dd9a19dd4ff