解读 | 数据分析的发展和演变都经过哪几个阶段？

CDA数据分析师 出品

作者: Deepesh Nair

编译: Mika

近年来，我们在信息技术领域取得了巨大进步，在技术生态领域中取得的一系列革命性成果也确实值得称赞。在过去的十年到二十年里，数据和分析一直是非常热门的词汇。因此我们需要明确它们是如何相互关联的，市场中扮演什么角色，以及将如何重塑商业业务。

对于那些已经意识到其潜力的人群来说，科技是一种福音，然而对于那些无法跟上其快速发展的人群来说，这也是一种考验。如今，几乎每个行业都离不开数据分析。

在本文中将总结近年来数据分析的发展和演变，简化各种术语，对一些常见应用场景进行解释。让我们开始吧！

数据分析1.0 → 商业智能需求

这是数据仓库的兴起时期，客户（业务）和生产过程（交易）被集中到巨大的存储库中，如eCDW（企业整合数据仓库）。在对商业现象的客观理解方面取得了真正的进展， 从而让管理者在做出决策时能够基于对事实的理解，而不是仅凭直觉。

这个阶段中数据通过ETL和BI工具收集、转换和查询。分析类型主要分为描述性（发生了什么）和诊断性（为什么会发生）。

然而，这个阶段的局限在于数据仅在公司企业内部使用，即商业智能活动只能处理过去发生的事情，而不能对未来趋势进行预测。

数据分析 2.0 →大数据

随着各大企业都纷纷走出舒适区，试图用更广泛的方法进行更复杂的分析时，前一阶段的数据分析局限性变得更加突出。

企业都开始通过外部资源获取信息，比如点击流、社交媒体、互联网等，与此同时对新工具的需求也越发明显。不可避免地，“大数据”一词出现了，为了区分那些纯粹来自公司内部系统的小数据。

在这个阶段，公司希望员工能够通过快速处理引擎帮助处理大量数据。他们没预想到的是，因此应运而生的新兴的群体，即如今所称的“开源社区”将产生巨大的影响力，这也是数据分析 2.0时代的标志。

在社区前所未有的支持下，大数据工程师，Hadoop管理员等角色在就业领域发展壮大，并且对每个IT企业都至关重要。科技公司急于开发新的框架，这些框架不仅能够收集、转化处理大数据，而且还能在集成预测性分析。而且，进一步通过描述性和诊断分析的结果检测趋势、聚类和异常，并预测未来趋势，这也使其成为重要的预测工具。

在今天的技术生态系统中，我个人认为“大数据”这个术语已经被大量使用，甚至滥用。从技术上讲，如今“大数据”指的是所有数据，或者只是指数据。

数据分析 3.0→ 功能强大的数据产品

开创性的大数据公司开始投资数据分析，从而支持面向客户的产品，服务和功能。它们通过更好的搜索算法、购买建议以及针对性广告吸引用户访问其网站，所有这些都是由数据分析所驱动的。大数据现象迅速蔓延，如今不仅是科技公司在通过数据分析开发产品和服务，几乎每个行业的公司都是如此。

另一方面，大数据技术的普及带来了好坏参半的影响。在科技巨头收获大量利润取得成功的同时，大多数企业和非科技公司却因为忽略数据而失败惨重。因此，数据科学领域应运而生，旨在使用科学方法、探索过程、算法等从各种形式的数据中获得知识和分析见解。

实际上，数据科学领域是跨学科的，它被定义为“结合统计、数据分析、机器学习等相关方法的概念”，从而用数据“理解和分析实际现象”。换句话说，良好的数据加上出色的训练模型能够产生更好的预测结果。新一代的量化分析师被称为数据科学家，他们拥有计算和数据分析技能。

科技行业在数据科学的帮助下迅速发展，并充分利用预测性和规范性对未来趋势进行预测。企业间也开启了数据分析的竞争，公司不仅通过改善内部决策等传统方式，而且还在不断开发更有价值的产品和服务。这是数据分析 3.0时期的精髓。

如今数据分析产生了巨大转变。公司正以超乎想象的速度发展，在内部设立更多的研发部门，比如数据科学家、数据工程师、解决方案架构师、首席分析师等人员构成的数据分析团队。

数据分析 4.0 → 自动化功能

主要有四种分析类型：描述，阐述过去; 诊断，利用过去的数据研究现在; 预测，通过基于过去数据的见解来预测未来; 规范，通过模型指导最佳行为。

虽然数据分析3.0包含了上述所有类型，但它强调的是最后一种，并且引入了小规模自动化分析的概念。

通过机器学习创建更多模型，从而让预测变得更加细化和精确。但是，部署这类定制模型的成本和时间是十分昂贵的。最终，通过智能系统实现自动化的数据分析4.0时代到来了。

毫无疑问，人工智能、机器学习、深度学习将带来深刻的影响。机器翻译、智能回复、聊天机器人、会议助理等功能将在未来几年内得到广泛应用。数据挖掘技术、机器学习算法都已取得了大量成果，自动化分析将成为数据分析的新阶段。

数据分析 5.0 → 接下来会是什么

我们可以将自动化理解为，人与智能机器的强强联合，从而实现更好的成果。

与其思考“人类的哪些工作将被机器取代？”我宁愿乐观地考虑，在机器的帮助下，企业能取得哪些新成就？我们该如何在灾难易发地区，通过人工智能程序减少伤亡人数；或者如何在贫困地区建立人工智能驱动的电子学校等。

总而言之，我对数据分析的发展充满自信，关键在于我们能否积极地接受和应对其带来的影响。

原文链接：

https://towardsdatascience.com/the-evolution-of-analytics-with-data-8b9908deadd7