用KUSTO查询语句(KQL)在Azure Data Explorer Database上查询LOG实战

目录

（一）前言

（二）Azure Data Explorer介绍及应用

1. 什么是Azure Data Explorer？

2. 实战案例

（1）案例背景

（2）进入Azure Data Explorer主页面

 （3）点击Query

（4）输入查询的KQL

（5）导出功能

---

（一）前言

       最近公司将一张平时存放在Azure托管实例里的Audit_log表整体迁移到Azure Data Explorer Database来存储。所以本文中我会先整理归纳Azure Data Explorer Database的基本概念，然后将试着用一个简单的例子来实战说明。

（二）Azure Data Explorer介绍及应用

       公司每天都在生成和存储大量数据。 这些数据可以是非结构化的（例如音频，视频），半结构化的（例如XML，JSON）或结构化的（例如数字，日期，字符串）。 数据专业人员一直在寻找有效的技术来处理大量不同数据。 虽然我们当然可以使用传统的数据仓库，Hadoop，Spark等分析工具来做到这一点，但是在探索和分析数据之前，这将涉及对TB级和PB级数据进行ETL的常规方法。所以，迫切需要一个平台，该平台将使用户能够快速利用和分析各种原始数据，并快速提取数据并获得最佳性能。 让我们使用一个有趣的数据分析服务解决这种情况。

1. 什么是Azure Data Explorer？

Azure数据浏览器又名ADX，是一种用于日志，遥测和流数据的快速，高度可扩展和完全托管的数据分析服务。 通过此数据浏览服务，您可以汇总，存储和分析各种数据。 您可以在几秒钟内查询数TB的数据，它允许对各种数据进行快速的即席查询。

在Azure Data Explorer上的工具以前称为“代号为Kusto”，使用类似SQL的查询语言即Kusto查询语言（KQL）来分析来自IoT设备，应用程序，网站等的快速流动数据。KQL不限于使用功能和数百个运算符例如聚合，过滤等，它还包含内置的机器学习功能，例如聚类，回归等。

ADX使用SSD存储作为缓存和Azure Blob存储中的持久存储，根据计算和存储之间的隔离原理进行工作。 它是完全托管的“平台即服务（PaaS）”，使用户仅关注其数据和查询。 为了说明ADX的主要优势之一，这里重点强调下一项优势，即时间序列分析：它
非常方便，并提供大量功能来分析，识别趋势和异常。

2. 实战案例

（1）案例背景

查询公司某关键系统用户的Audit_log，并导入日志(CSV)

（2）进入Azure Data Explorer主页面

 （3）点击Query

        点击后，看到右侧就是KQL输入的查询区域，可以在里面进行编辑查询

同时，在中间区域可以像选择数据库以及数据库下属的表一样去查看想查询的对象

（4）输入查询的KQL

       如下KQL目的在于拉出AuditLogs表的前10000行

AuditLogs
| take 10000

（5）导出功能

      右击查询结果区域，看到导出功能列表